Il rilevamento automatico dello spazio articolare migliora la precisione della segmentazione ossea

Summary

Lo sviluppo di un flusso di lavoro automatizzato per il rilevamento dello spazio articolare ha permesso la segmentazione ad alta velocità di ossa murine della patta posteriore con una precisione del >98% negli animali selvatici. È stata raggiunta un'applicazione flessibile alle zampe anteriori e alle zampe con artrite infiammatoria-erosiva, ma con prestazioni decadute che richiedono ulteriori ottimizzazioni in studi futuri utilizzando dati pubblici.

Abstract

La descrizione quantitativa delle strutture anatomiche complesse rimane impegnativa a causa delle competenze necessarie per la segmentazione manuale, il lavoro e la variabilità tra osservatori. Per superare questo problema, la rilevazione automatica di punti di riferimento specifici può essere effettuata tramite tecniche di analisi digitale delle immagini, inclusi i modelli di deep learning (DL). A tal fine, abbiamo effettuato un'analisi automatizzata supervisionata di dataset di microtomografia computerizzata (micro-CT) delle zampe posteriori e anteriori murine. Andando oltre gli algoritmi di bacino idrografico semi-automatizzati (SA) basati su marcatori precedentemente pubblicati, abbiamo aggiunto miglioramento strutturale, voto tensoriale e dilatazione di output per identificare gli spazi articolari. La segmentazione è stata potenziata utilizzando un modello di previsione dello spazio congiunto DL (architettura 3D U-Net, backbone ResNet-18) utilizzando etichette di tipo wild-type (WT) posteriori come verità sul terreno. La previsione è stata estesa alle zampe posteriori e anteriori per topi WT e TNF-Tg con artrite infiammatoria-erosiva di entrambi i sessi in età. La precisione della segmentazione è migliorata drasticamente utilizzando la metodologia DL. La precisione è diminuita con l'aumento della gravità della malattia e dell'età nei topi TNF-Tg. I test successivi sulle zampe anteriori hanno inoltre mostrato una progressiva riduzione della precisione con l'aumento della gravità artritica. Nel complesso, questo modello automatizzato supervisionato supera i recenti approcci di SA nelle articolazioni sane per migliorare l'indagine sull'anatomia ossea complessiva. Sebbene l'applicazione flessibile a dataset nuovi e modificati per malattie dimostri prestazioni obsolete, l'utilizzo può comunque catalizzare lo sviluppo di modelli di segmentazione specifici per struttura.

Introduction

L'analisi delle immagini di alta qualità non solo migliora le attività di ricerca, ma ha anche il potenziale di aiutare i radiologi clinici nel cercare di rilevare e quantificare i cambiamenti patologici, un compito fondamentale per la cura del paziente. L'analisi delle immagini è una sequenza dettagliata di procedure, che include l'estrazione delle caratteristiche, la traduzione di un'immagine altrimenti generica in etichette significative e la derivazione di metriche quantitative¹. Gran parte di questo processo è guidato da conoscenze pregresse, come le strutture di soglia basate su densità o colore, e poi l'applicazione di algoritmi di elaborazione immagini a valle (cioè dilatazione, erosione, levigatura, separazione) per ottenere la segmentazione desiderata. Una volta ottimizzate, le immagini segmentate possono fornire input per il machine learning^{supervisionato 2}, incluso il deep learning (DL) che codifica e decodifica caratteristiche complesse utilizzando reti neurali,2,3 con conseguente precisione e throughput della segmentazione delle immagini.

In effetti, l'implementazione di varie reti neurali convoluzionali 3D (CNN) ha fornito progressi fondamentali negli algoritmi automatizzati di segmentazione ossea per l'analisi delle immagini scheletriche, dove alcuni modelli superano la segmentazione^{umana 4}. Sebbene le CNN a segmentazione 3D funzionino attraverso architetture distinte (ad esempio AlexNet, ResNet, UNet), i loro output sono fondamentalmente gli stessi, una maschera d'immagine che indica il volume positivo osseo dallo sfondo. Tali modelli di deep learning nell'analisi delle immagini muscoloscheletriche sono stati in rapido sviluppo, e il campo si è rapidamente spostato dalla risoluzione di semplici problemi di rilevamento 2D delle fratture⁵ a complessi problemi^{multiarticolari 6} con la capacità di gestire rumore artefattuale o caratteristiche anomale nei dataset. Ad esempio, Woo et al hanno notato che anomalie strutturali (cioè lesioni del midollo osseo, cisti ossee) nella risonanza magnetica stavano degradando le loro previsioni di segmentazione per la cartilagine articolare nelle articolazioni del ginocchio. Così, hanno sviluppato un modello di segmentazione consapevole delle anomalie per identificare prima strutture anomale non correlate, migliorando drasticamente la segmentazione di osso e^{cartilagine 7}. He et al hanno addestrato 14 modelli separati, ciascuno su un ROI delle articolazioni chiave della mano, per stimare l'età scheletrica e poi hanno integrato i loro risultati per migliorare le previsioni dalle radiografie manuali, invece di utilizzare l'intera struttura^{della mano 8}. Allo stesso modo, includere il contesto nei modelli, come le caratteristiche di segmentazione regionale e le relazioni anatomiche globali, ha dimostrato di migliorare le previsioni. L'uso di CNN multi-regione per fornire contesto sulle caratteristiche di segmentazione attese migliora anche la valutazione della maturità scheletrica nelle radiografie manuali limitando il problema di classificazione a posizioni anatomicamente^{appropriate 9}. Ulteriori progressi includono SVTNet con segmentazione ossea basata su CNN, seguito da ulteriori elaborazioni tramite modelli di trasformatore visivo per raccogliere informazioni globali sulla relazione spaziale tra regioni segmentate di interesse e stimare risultati quantitativi come l'età^{ossea di 10} anni.

Come dimostrato in questi approcci di segmentazione, l'imaging di ricerca sull'artrite si concentra sull'articolazione delle superfici tra due o più ossa, dove i metodi di separazione ossea sono fondamentali per una valutazione efficace dei processi patologici differenziali nelle articolazioni complesse. I progressi negli algoritmi di elaborazione delle immagini hanno dimostrato un'utilità notevole nell'aumentare la capacità analitica di ossa carpale o tarsali^{vicine 11,12}. Tuttavia, l'adozione limitata dovuta a imprecisioni che richiedono l'intervento dell'utente e alle difficoltà nella traduzione verso strutture distinte evidenzia la necessità di implementare flussi di lavoro ottimizzati. Questi processi a più fasi possono trarre enormemente beneficio da strumenti discreti per il miglioramento dell'immagine (ad esempio, rilevamento dei bordi^{osseo 13}). Oltre alle operazioni puramente morfologiche, altri studi hanno implementato tecniche basate sulla registrazione sfruttando l'affidabilità e la coerenza tipiche dell'anatomia per l'identificazione delle strutture 14,15,16,17. L'alternativa di input manuali per generare etichette di verità fondamentale è costosa e noiosa, ma può avere altrettanto successo, dove l'utilizzo può essere essenziale in ossa complicate e strettamente intrecciate con confini meno discreti (ad esempio,^{cranio 18}). Analogamente, approcci di imaging alternativi con variabilità multicolore e tonalità anche all'interno di una struttura discreta, come la risonanza magnetica (MRI ^19,20,21) o l'istologia ^{tissutale 22}, mostrano anch'essi una complessità che può beneficiare di una segmentazione manuale iniziale per guidare processi automatizzati. Insieme, questi metodi possono offrire benefici aggiuntivi alimentando un'ulteriore automazione, dove i risultati fungono da dataset di addestramento per implementare approcci DL. I benefici dell'automazione della segmentazione sono numerosi, ma in particolare questi metodi permettono metriche quantitative dettagliate e spazialmente rilevanti, inclusi cambiamenti di volume erosivo regionali/specifici per^ossa 23,24,25,26 nonché l'identificazione di aree con alta suscettibilità ai ^{danni 27}.

Qui, costruiamo sui metodi consolidati di segmentazione murine posteriore semi-automatizzato (SA^{) 12}, con miglioramenti negli algoritmi di elaborazione delle immagini in combinazione con segmentazioni ground truth^{bone 28} per addestrare modelli DL per il rilevamento dello spazio articolare. Questa nuova strategia analitica ha dimostrato una precisione significativamente migliorata nella segmentazione ossea individuale dei posteriori, riducendo così gli sforzi manuali per correggere gli errori di^{segmentazione 12} per accelerare l'elaborazione delle metriche quantitative a valle. Dimostriamo inoltre il potenziale per l'implementazione di questi progressi tecnici in strutture innovative, inclusi le zampe anteriori e posteriori con grave artrite erosiva. Poiché la segmentazione manuale richiede molto tempo e un alto livello di competenza⁷, strategie simili per utilizzare sequenzialmente segmentazioni semi-automatizzate e automatizzate per produrre filtri di input migliorati possono ridurre la barriera allo sviluppo di CNN di alta qualità per applicazioni specifiche. I metodi associati sviluppati nel software Amira (Supplementary File 1) e i dataset rilevanti sono forniti pubblicamente per supportare l'adozione e la collaborazione in ulteriori iniziative^{di ricerca 28,29}.

Protocol

Tutti gli esperimenti sugli animali sono stati condotti secondo i protocolli IACUC approvati dal Comitato Universitario per le Risorse Animali presso il University of Rochester Medical Center.

Modelli animali
I topi furono ospitati in un vivario accreditato AAALAC. Sono stati utilizzati in totale 19 topi per gli esperimenti descritti, tra cui 4 maschi wildtype (WT), 4 femmine WT, 4 maschi transgenici TNF (TNF-Tg) e 7 femmine TNF-Tg, con valutazioni mensili longitudinali. I topi TNF-Tg (linea 3647, C57BL/6 background^{genetico 30}) sono stati inizialmente ottenuti dal dottor George Kollias con manutenzione continua presso l'Università di Rochester. I topi TNF-Tg sono stati allevati come eterozigoti, con i topi WT che fungevano da controlli tra i fratelli di cucciolata. La genotipizzazione del transgene TNF è stata effettuata utilizzando le seguenti sequenze di innesco: TNF-Tg Forward: 5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3; TNF-Tg Retromarcia: 5-GCC-CTT-CAT-AAT-ATC-CCC-CA-3.

I topi TNF-Tg sviluppano artrite infiammatoria-erosiva^{cronica, progressiva e spontanea 31} con un'insorgenza più rapida di manifestazioni articolari ed extraarticolari nelle femmine, portando a una mortalità precoce intorno ai 5-6 mesi^{e 32}. Così, ulteriori topi sono stati assegnati alla coorte femminile TNF-Tg. Secondo le precedenti descrizioni di questa coorte^{di studio, 23} n=2 femmine TNF-Tg sono morte prima del completamento dello studio, n=1 prima dei 4 mesi e n=1 prima dei 5 mesi. Poiché i topi TNF-Tg mostrano una progressione asimmetrica ben affermata della malattia nelle zampe^{posteriori 33,34}, gli arti individuali sono stati considerati unità di misura (2 zampe anteriori e 2 zampe posteriori per animale).

Collezione di immagini Micro-CT
I dataset Micro-CT sono stati raccolti come descritto^{in precedenza 12,23}. Brevemente, i topi sono stati inseriti in un tubo acrilico Derlin in plastica e trasparente con anestesia isoflurana 1%-3% per l'imaging con una micro-TC utilizzando i seguenti parametri: 55 kV, 145 μA, tempo di integrazione di 300 ms, 2048 x 2048 pixel, 1000 proiezioni su 180°, risoluzione voxel isotropi di 17,5 μm. Per sicurezza nell'uso dell'isoflurano, venivano utilizzati dispositivi di protezione individuale adeguati (guanti in nitrilo, camice o camice da laboratorio, occhiali di sicurezza), e il vaporizzatore di isoflurano veniva mantenuto all'interno di una cappa con un filtro a carbone per catturare i rifiuti gassosi con tubi ben sigillati per garantire la continuità del sistema di somministrazione. L'isoflurano vaporizzato veniva utilizzato per l'induzione anestesica in una camera sigillata, quindi l'anestesia veniva mantenuta tramite flusso continuo di isoflurano in un cono nasale murino nella micro-TC. Sia le zampe posteriori che quelle anteriori sono state fissate insieme per stabilizzarsi durante le sessioni di imaging. Ogni dataset è stato raccolto in circa 30-45 minuti (60-90 minuti totali) con dati di posteriore e zampa anteriore derivati dagli stessi animali e momenti temporali. I topi sono stati valutati a intervalli mensili a partire dai 2 mesi fino ai 5 mesi (femmine, TNF-Tg con mortalità^{precoce 32}) o 8 mesi (maschi). Porzioni dei dati sui retropaw utilizzati per questo studio erano state precedentemente pubblicate (WT:^12,35; WT e TNF-Tg:²³) e sono disponibili^{pubblicamente 28}. I dati sulla zampa anteriore sono stati resi pubblici ai fini di questo^{studio 29}.

Algoritmo di segmentazione dello spazio congiunto con facilitazione del deep learning
Un algoritmo di elaborazione delle immagini SA ad alto rendimento per segmentare le singole ossa del complesso posteriore nei topi (30-31 ossa) era stato precedentemente^{sviluppato 12}, che forniva un quadro per indagare i singoli biomarcatori della progressione dell'artrite infiammatoria-erosiva utilizzando il software^{Amira 23}. Questo metodo di segmentazione SA di base utilizzava un algoritmo di bacino^{idrografico basato su marcatori 36} per la separazione ai confini ossei. L'algoritmo del bacino idrografico basato su marker separa diversi oggetti in un'immagine trattando i valori dei pixel come topografia locale basata su marcatori definiti dall'utente. Questi marcatori specifici per ossa sono stati generati in modo SA attraverso una varietà di passaggi di elaborazione delle immagini, incluso il black top-hat (BTH), nel tentativo di evidenziare regioni locali con grandi variazioni di densità, come i bordi e le articolazioni ossee. Insieme, questo approccio creava una versione erosa di ogni singolo osso, che veniva poi estesa ai bordi ossei tramite l'applicazione di una maschera di confine binaria. Sebbene il metodo del bacino idrografico migliorasse rispetto all'uso precedente del contouring manuale, l'accuratezza (ossa segmentate correttamente / ossa totali) era di circa l'80% per dataset a causa del basso rumore di contrasto che portava a regioni articolari collegate (ossa sovraconnesse; 2+ ossa come un unico materiale) o errata identificazione dei bordi (ossa sovraspaccate; 1 osso come 2+ materiali). Pertanto, la generazione dei marcatori SA per l'approccio del bacino idrografico ha richiesto procedure di correzione manuali coerenti^{e frequenti 12} per sviluppare una risorsa di etichette standard^{d'oro 23,28}.

Lo sviluppo del modello DL per la previsione delle articolazioni ossee si basava sull'architettura di un U-Net 3D con una backbone ResNet-18. La funzione di perdita di addestramento era Dice, la metrica di validazione era l'intersezione sull'unione (IoU), la discesa del gradiente utilizzava l'ottimizzazione Adam con un tasso di apprendimento iniziale di 0,0001, e i pesi venivano inizializzati casualmente. Il modello è stato addestrato utilizzando 20 dataset WT (40 posteriori) con la stessa distribuzione per sesso ed età (da 2 a 6 mesi), ciascuno suddiviso in 6 sottovolumi (3 per posteriore) di 200 x 200 x 200 voxel con un set di validazione randomizzata del 25% di sottovolumi (30 validazione, 120 in totale) per evitare il sovrafitting. Queste piastrelle 3D erano posizionate equamente sui tarsi, sulle falangi distali e sulle regioni di fondo. La dimensione della patch di addestramento era impostata a 96 x 96 x 96 voxel (Figura supplementare 1). Il modello è stato addestrato in 500 epoche, richiedendo circa 6 ore. Le regioni di giunta di base sono state ottenute tramite una ricetta automatica da etichette di verità di fondo, che espandevano le interfacce di etichetta con una dimensione di dilatazione 3D di 5 sia per spessore che per estensione.

In combinazione con la previsione DL dello spazio articolare, sono stati implementati diversi passaggi di elaborazione delle immagini per aumentare l'identificazione dello spazio articolare e la segmentazione ossea. Queste strategie includevano l'utilizzo del metodo BTH combinato con il miglioramento della struttura³⁷, l'enhancement della membrana e il voto^{tensoriale 38} per rafforzare la continuità dello spazio articolare limitando gli spazi di membrana. Insieme, questi approcci rafforzano gli spazi articolari per la separazione ossea, limitando la perdita di segmentazione tra ossa adiacenti che genera errori di sovraconnessione man mano che l'algoritmo del bacino idrografico si propaga su più ossa. Il risultato finale separa e segmenta i dataset micro-CT originali in etichette specifiche per l'osso.

Di seguito è fornito un protocollo dettagliato passo dopo passo del metodo di segmentazione facilitata DL.

Passo 1: Apri il software Amira (richiede licenza personale o istituzionale). Passo 2: Apri la scheda Python, seleziona Crea un nuovo ambiente Python Con nome dell'ambiente: Deep-learning-Environment-2022_2. Assegno Installa pacchetti di deep learning. Passo 3: Riavvia il software, apri la scheda Python, seleziona l'ambiente utente Ambiente-apprendimento profondo-2022_2. Passo 4: Dati aperti - Gli stack DICOM possono essere caricati selezionando tutti i singoli file DICOM o aprendo file .am che contengono stack DICOM incorporati, se disponibili. Passo 5: Applica il modulo di Previsione del Deep Learning all'oggetto dati importato con i seguenti dettagli:
Data: oggetto dati importato
Architettura: .json file (File Supplementare 2)
Pesi: file .hdf5 (Fascicolo Supplementare 3)
Tiling: manuale - ottimizzazione possibile riducendo la dimensione dei pixel e aumentando la sovrapposizione delle tiling se possibile, a seconda dell'hardware computazionale. Il modulo fallirà se i requisiti di elaborazione sono insufficienti. Assicurati che in Modifica, Preferenze, Dati di grandi dimensioni l'allocazione di memoria per il software sia massimizzata il più possibile.
Larghezza, altezza, profondità del tiling: 352 pixel
Sovrapposizione del tiling: 0 pixel
Passo 6: Applica il lettore di ricette immagine, clicca con il tasto destro su l'Area del Progetto senza mirare a un oggetto dati specifico. Input o valutazione quanto segue:
Ricetta aperta: file .hxisp (Fascicolo Supplementare 4)
Data: oggetto dati importato
Giunti di input: Risultato dello Step 5 (Previsione del Deep Learning)
Intervallo di intensità dello Step3: 2500 - 20000
Passo 7: Valuta l'oggetto dati elaborato risultante che contiene la segmentazione finale - assicurati di regolare Colormap in Labels256 per apprezzare il totale delle singole segmentazioni risultanti (il valore predefinito è solo 8 colori). Per il 2D: applica l'ortho slice e per il 3D: applica il rendering volumetrico. Dettagli sulla ricetta incorporata (BTH+DL+SEF+MEF_D2.hxisp) applicati nel passaggio Image Recipe Player fornito qui sotto (Fascicolo Supplementare 5). Si noti che in Image Recipe Designer, i singoli passaggi possono essere visualizzati ed esportati secondo necessità per valutare i passaggi di ottimizzazione in determinati dataset. Nel protocollo, vengono evidenziati particolari passaggi che dovranno essere aggiustati per ogni applicazione unica, poiché dipendono dagli output di imaging (cioè densità) e/o dalla dimensione degli oggetti (cioè ossa):
Passo 1: Applicare il filtro mediano con dati: oggetto dati importato; Interpretazione: 3D; Quartiere: 26; Iterazioni: 3; Tipo: Iterativo.
Passo 2: Applicare la Soglia - questo passaggio richiederà un'ottimizzazione a seconda dei dataset e della particolare soglia che prende di mira l'oggetto di interesse, in questo caso l'osso con i Dati: Risultato del Passaggio 1 (Filtro Mediano); Gamma di intensità: 2500 - 20000.
Passo 3: Applica la chiusura - questo passaggio richiederà un'ottimizzazione a seconda della dimensione degli spazi articolari tra le ossa con dati: Risultato del Passaggio 1 (Filtro mediano); Tipo: Cubo; Interpretazione: 3D; Quartiere: 26; Dimensione dei pixel: 3.
Passo 4: Applicare l'aritmetica dell'immagine con input A: risultato del Passo 3 (Chiusura); Input B: risultato del Passaggio 1 (filtro mediano); Canali di risultato: come input A; Espressione: A-B.
Passo 5: Applicare la soglia con i dati: risultato del Passo 4 (Aritmetica delle immagini); Intervallo di intensità: 750 - 20000.
Passo 6: Applicare l'aritmetica dell'immagine con input A: risultato del Passo 2 (Soglia); Input B: Risultato del Passo 5: (Soglia); Canali di risultato: come input A; Espressione: A-(B>0)
Passo 7: Applica il filtro di miglioramento strutturale con immagine di input: oggetto dati importato; Interpretazione: 3D; Tipo di tensore: Assiano; Deviazione standard min/max: 1 - 3 pixel; Passo di deviazione standard: 1 pixel; Contrasto: Scuro; Tipo di struttura: Piano.
Passo 8: Applicare la Soglia Automatica con l'Immagine di Input: Risultato del Passo 7 (Filtro di Miglioramento della Struttura); Tipo: Auto Threshold Alta; Interpretazione: 3D; Modalità: Min-max; Criterio: Fattorizzazione.
Passo 9: Applica il filtro di miglioramento della membrana con i dati: oggetto dati importato; Selezione di output: Voto del Tensore di Planità; Scala di voto tensoriale: 3 pixel; Scala di densificazione: 3 pixel; Tipo: Cresta
Contrasto: Scuro; Scala: 1 pixel.
Passo 10: Applicare l'auto-soglia con l'immagine di input: risultato del Passo 9 (Filtro di Enhancement della Membrana); Tipo: Auto Threshold Alta; Interpretazione: 3D; Modalità: Min-max; Criterio: Fattorizzazione.
Passo 11: Applicare la dilatazione - questo passaggio richiederà un'ottimizzazione a seconda della dimensione degli spazi di giunzione - con Immagine di input: Risultato del Passo 10 (Auto Thresholding); Tipo: Palla; Interpretazione: 3D; Dimensioni: 1 pixel; Precisione: Più veloce.
Passo 12: Applica l'aritmetica dell'immagine con input A: risultato del Passaggio 11 (dilatazione); Input B: risultato del Passo 8 (Auto Thresholding); Input C: Risultato della previsione del deep learning; Canali di risultato: come input A; Espressione: A||B||C.
Passo 13: Applica Rimuovere piccoli punti con immagine di input: Risultato del Passaggio 12 (Aritmetica dell'Immagine); Interpretazione: 3D; Dimensione: 500 pixel.
Passo 14: Applica l'aritmetica dell'immagine con input A: risultato del Passo 13 (rimuovere piccoli punti); Input B: risultato del Passaggio 6 (Aritmetica delle immagini); Canali di risultato: come input A; Espressione:! A*B.
Passo 15: Applica Rimuovere piccoli punti con immagine di input: Risultato del Passaggio 14 (Aritmetica dell'immagine); Interpretazione: 3D; Dimensione: 500 pixel.
Passaggio 16: Applicare l'etichettatura con l'immagine di input: Risultato del Passaggio 15 (Rimuovere piccole macchie); Interpretazione: 3D; Quartiere: 26.
Passo 17: Applica Converti Tipo di Immagine con i Dati: Risultato del Passaggio 1 (Filtro Mediano); Tipo di output: 16-bit senza segno; Modalità di normalizzazione: Scaling; Scala: Scala 3, Offset 2000.
Passo 18: Applicare un basamento idrografico basato su marker all'interno della maschera con dati: risultato del Passaggio 17 (Converti il tipo di immagine); Marcatori: Risultato del Passaggio 16 (Etichettatura); Maschera binaria: risultato del Passo 6 (Aritmetica dell'Immagine); Tipo diviso: Bassa intensità.

Test e quantificazione del metodo di segmentazione
Il metodo di segmentazione è stato testato generando una ricetta che incorporava la previsione congiunta DL con la ricetta di elaborazione delle immagini a valle su un'intensità di 2500 - 20000 unità di Hounsfield. La generazione di ricette permetteva l'elaborazione batch (applicare una ricetta su un lotto di file) dei dataset micro-CT originali (formato file .am come pila di immagini salvata dopo l'importazione dei file iniziali di .dcm in Amira). L'hardware del computer includeva 16 core da un'unità centrale di elaborazione (CPU) Intel Xeon Gold 5218 a 2,30 GHz, 128 GB di codice di correzione errore di quarta generazione (DDR4) doppio (DDR4), memoria ad accesso casuale (RAM) a 2666 megatrasferimenti (MT)/s, e 24 GB di unità di elaborazione grafica virtuale (vGPU/VRAM) su un sistema operativo a 64 bit con Windows 10 (versione del sistema operativo: 19044.4780). Ogni dataset Hindpaw (2 Hindpaw) è stato segmentato in circa 32,7 ± 8,42 minuti (media ± deviazione standard) senza intervento dell'utente. Questo viene confrontato con il precedente modello SA, dove il tempo di segmentazione dipendeva dall'esperienza utente, con utenti principianti a 40,5 ± 9,06 min per dataset e utenti esperti a 19,3 ± 5,34 min per dataset (solo dataset WT, inclusa la correzione degli errori di segmentazione⁾¹². Sia i metodi DL che SA mostrano notevoli miglioramenti rispetto al precedente contouring manuale standard d'oro per segmentazione a 190,6 ± 30,4 min per dataset da parte di un utente esperto (eseguito tramite analisi Scanco convenzionale⁾¹². I dataset delle zampe anteriori (2 zampe anteriori) sono stati segmentati in circa 53,4 ± 23,6 minuti senza intervento dell'utente, dove l'aumento del tempo di segmentazione può essere attribuito a strutture aggiuntive all'interno dei dataset di imaging originali (cioè colonna vertebrale e costole), che non sono presenti nelle zampe posteriori più isolate distalmente e gonfiano il tempo di segmentazione in assenza dei precedenti passaggi di editing del volume.

La quantificazione dell'accuratezza è stata effettuata tramite ispezione visiva (HMK) per identificare la segmentazione corretta o il tipo di errore basato sull'anatomia ossea attesa (Hindpaw:^12,39; Zampa:⁴⁰). L'accuratezza veniva calcolata in percentuale da:

dove i veri positivi erano ossa correttamente segmentate, i veri negativi uguali a 0 (non ci sono circostanze in cui le ossa dovrebbero mancare e il background non era rilevante per la quantificazione), i falsi positivi erano ossa sovra-spaccate, e i falsi negativi erano ossa sovraconnesse. L'accuratezza è stata ritenuta una metrica quantitativa appropriata dato il problema di classe singola (cioè l'identificazione degli spazi articolari), e i veri negativi (cioè il background) non contribuiscono nei calcoli di accuratezza, riducendo così il rischio di sovrastimare le prestazioni. Il metodo di segmentazione automatica non include la denominazione delle ossa; i nomi delle ossa vengono successivamente associati manualmente a materiali segmentati dall'utente.

La valutazione delle zampe posteriori coinvolte in questo studio ha confermato la fusione fissa nei tarsi del cuneiforme navicolare e laterale (NAVLAT) nei topi C57BL/6⁴¹, e ha inoltre determinato che il cuneiforme intermedio adiacente (INT) può essere fuso in modo variabile con la struttura NAVLAT (NAVLATINT^)12,39. Una fusione variabile simile è stata apprezzata nella regione carpale delle zampe anteriori, dove le ossa trapezoide (ZOID; minore multiangolare) e centrale (CENT) possono presentarsi come una singola struttura fusa (CENTZOID) o suddivise nelle loro singole ossa, in particolare nelle zampe anteriori. Ulteriori ossa carpali indagate per la precisione della segmentazione includevano il trapezio (ZIUM; maggiore multiangolare), il capitato (CAP), l'amato (HAM), il triquetrum (TRI; triangolare), il pisiforme (PIS), lo scafoide (navicolare)/lunato (SCAPHATE; fusione fissa) e il falciforme (FALC). I metacarpi anteriori (MET-F; 1-5), le falangi prossimali (PP-F; 1-5), le falangi distali (DP-F; 2-5) e i sesamoidi (S-F; 1-10) sono numerati lateralmente a mediali, a differenza dei corrispettivi posteriori (metatarsi (MET-H), PP-H, DP-H e S-H), numerati medialmente a^{laterale 12}. Insieme a NAVLATINT, sono state valutate ulteriori ossa tarsali per le zampe posteriori, come descritto^{in precedenza 12,23}, inclusi calcaneo (CALC), cuboide (CUB), cuneiforme mediale (MED), talus (TAL) e tibiale (TIB). Si noti che le quantificazioni complessive di accuratezza della coorte variano leggermente confrontando la valutazione dell'accuratezza media per dataset con un numero variabile di ossa dovute a fusioni anatomiche rispetto all'accuratezza calcolata in base al totale delle ossa individuali analizzate.

Analisi statistica
L'analisi statistica, inclusa l'analisi a effetti misti a 3 o 2 vie con effetti di interazione o confronti multipli di Sidak e il test esatto di Fisher, è stata eseguita come appropriato in GraphPad Prism (v10.2.0; San Diego, CA, USA). Maschi (2-8 mesi) e femmine (2-5 mesi) sono stati analizzati separatamente, dati i tempi di valutazione distinti basati sulla mortalità femminile precoce^{di TNF-Tg 32}. Le dimensioni dei campioni delle patte posteriori WT utilizzate per l'addestramento/validazione e i test metodologici sono fornite nella Tabella Supplementare 1, insieme ai dettagli delle dimensioni del campione per le zampe posteriori e anteriori WT e TNF-Tg testate nella Tabella Supplementare 2, Tabella Supplementare 3 e Tabella Supplementare 4. Poiché alcuni momenti temporali per il test WT della patta posteriore includevano una valutazione accurata per <3 posteriori, gli effetti di interazione sono stati riportati senza confronti multipli post-hoc in analisi che includevano i posteriori WT. Interi o porzioni delle zampete posteriori sono stati omessiti dall'analisi se ci sono stati errori di imaging con cattura incompleta della zampa, un notevole artefatto di movimento che rendeva le scansioni ininterpretabili e/o se l'animale è morto prima di una sessione di imaging programmata, poiché tutti i dati sono stati raccolti in vivo.

Results

L'implementazione dell'identificazione automatica dello spazio articolare migliora la precisione della segmentazione ossea
Data l'eterogeneità della forma e dell'architettura ossea in strutture complesse come la patta posteriore murina, costruiamo sul nostro algoritmo sistematico di elaborazione delle immagini¹² fino alle previsioni di addestramento DL (blu) abbinate a passaggi di elaborazione delle immagini per un'identificazione robusta degli spazi articolari interossei nei dataset micro-CT (Figura 1A-B; processo descritto di seguito e mostrato nella Figura Supplementare 1). L'identificazione degli spazi tra le ossa ha permesso una separazione ossea precisa e la segmentazione delle singole parti posteriori (colori separati; Figura 1C). Per la componente DL, i dataset di addestramento e validazione (WT) consistevano in età uguali (2-6 mesi di età, n=8 posteriori per età) e sesso (n=20 posteriori per sesso). Il resto delle zampe posteriori WT (n=44, dai 2 agli 8 mesi di età, escludendo 6 mesi poiché tutti venivano utilizzati per l'addestramento e la validazione) servivano come dataset di prova per quantificare l'accuratezza della segmentazione ossea (Figura 1D). C'erano 2 posteriori maschi WT a 2 mesi e 2 femmine WT a 3 mesi che sono stati omessi a causa di errori di imaging (Tabella Supplementare 1).

Oltre all'implementazione nelle patte posteriori WT, abbiamo anche testato l'approccio automatizzato di segmentazione su zampe posteriori di topi TNF-Tg (n=56 posteriori maschi, n=48 femmine) con artrite infiammatoria-erosiva spontanea. Sono state omesse 4 femmine di TNF-Tg a posteriori sia a 4 che a 5 mesi a causa di errori di imaging o morte prematura prima dell'endpoint a 5 mesi (Tabella Supplementare 2). Il nuovo algoritmo di segmentazione rilevava automaticamente gli spazi articolari (blu, sinistra) per la separazione ossea individuale (colori, destra) sia tra i sessi che i genotipi (Figura 2A-D). Per quanto riguarda la precisione di segmentazione delle singole ossa mostrata nella Tabella Supplementare 5 e nella Tabella Supplementare 6, la WT ha superato i dataset TNF-Tg sia per i maschi (WT 98,4% contro TNF-Tg 93,1%, p<0,0001) sia per le femmine (WT 98,7% contro TNF-Tg 92,1%, p<0,0001). La fonte di errore è stata dimostrata visivamente come una chiusura incompleta degli spazi articolari (frecce in un riquadro bianco tratteggiato), collegando così involontariamente due ossa distinte in un'unica segmentazione (Figura 2C-D). Questi errori sovraconnessi dimostrati nelle zampe posteriori del TNF-Tg possono rappresentare sequelle di danni cronici che portano alla fusione articolare, dove lo spazio tra le ossa non esiste più. In effetti, la differenza di accuratezza tra i dataset WT e TNF-Tg diventa più evidente nel tempo man mano che aumenta la gravità dell'artrite (Figura 2E-F), specialmente nelle ossa tarsali (Figura 2G-H, giallo = maggiore accuratezza, verde = minore accuratezza) che tipicamente fungono da biomarcatori affidabili per la progressione dell'erosione^{ossea 23}. Tuttavia, rispetto al nostro precedente approccio di segmentazione SA, c'è stato un notevole miglioramento complessivo nell'accuratezza del dataset (Figura 2E-F; WT maschi: SA 79,39% ± 5,73% contro DL 98,16% ± 1,47%, p<0,0001; WT femmina: SA 79,16% ± 4,84% contro DL 99,19% ± 1,63%, p<0,0001), dimostrando i robusti progressi metodologici sia in termini di automaticità che di affidabilità. Pertanto, il nostro nuovo modello strategico per la segmentazione dell'osso della patta posteriore utilizzando l'identificazione facilitata dello spazio articolare DL fornisce una precisione significativamente aumentata della segmentazione nei dataset WT (>98%) rispetto ai metodi SA precedenti (~79%), ma con prestazioni leggermente deprecate quando applicato ai posteriori con artrite infiammatoria-erosiva (92%-93%).

L'applicazione flessibile del metodo di segmentazione alle zampe anteriori evidenzia una marcata distruzione articolare e fusioni ossee nei topi TNF-Tg, con una rapida riduzione della precisione della segmentazione
Abbiamo ulteriormente esteso l'applicazione del nuovo metodo di segmentazione alle zampe anteriori murine (n=55 wt zampe anteriori maschili, n=29 wt femmine, n=54 TNF-Tg zampe anteriori maschili e n=50 TNF-Tg femmine femmine) con dimensioni ossee e anatomia uniche. C'era 1 zampa anteriore a 4 mesi per il maschio WT, 1 zampa anteriore a 4 mesi e 2 zampe anteriori a 5 mesi per la femmina WT, 2 zampe anteriori a 3 mesi per il maschio TNF-Tg, e 2 zampe anteriori a 4 mesi e 4 zampe anteriori a 5 mesi per la femmina TNF-Tg, che sono state omesse a causa di errori di imaging o morte prematura prima dell'endpoint. Inoltre, è stato osservato un errore parziale di imaging per una zampa anteriore a 3 mesi per la femmina WT con l'omissione di DP-F3, PP-F3, DP-F4 e PP-F4 (Tabella Supplementare 3 e Tabella Supplementare 4). Per orientamento, forniamo un modello WT della zampa anteriore con ogni singolo osso separato per colore e nomenclatura specifica dell'osso, indicata da diversi punti di vista (Figura 3). Le indagini precedenti sui topi TNF-Tg si sono concentrate principalmente sulla zampa posteriore, mentre qui dimostriamo l'architettura delle zampe anteriori murine sia nei topi WT che in quelli TNF-Tg. Mettiamo in evidenza in particolare i carpali (cerchio tratteggiato giallo) e i sesamoidi (cerchio tratteggiato blu) che presentano una profonda malattia erosiva visiva, soprattutto nelle femmine di TNF-Tg (Figura 4A-D). Di conseguenza, il confronto della precisione della segmentazione della zampa posteriore e anteriore ha mostrato una marcata riduzione delle zampe anteriori (effetto tipo di zampa p<0,0001), principalmente dovuta al forte declino dell'integrità ossea con aumento dell'età e della gravità della malattia nei dataset TNF-Tg (Figura 4E-F; effetto genotipo paw x genotipo p=0,0083; zampe anteriori maschili: WT 87,29% ± 2,07% contro TNF-Tg 72,65% ± 11,70%, p<0,0001). Similmente ai posteriori, il calo della precisione della segmentazione del TNF-Tg con l'invecchiamento e la gravità della malattia è più marcato nei carpali, insieme ai sesamoidi (Figura 4G-H, Tabella Supplementare 7 e Tabella Supplementare 8). Questa patologia ossea regionale può essere guidata da un'attività erosiva aumentata nell'articolazione adiacente della MET-F e PP-F (articolazione metacarpopfalgiana). La valutazione del tipo di errore ha rivelato che le zampe anteriori con TNF-Tg tendono a presentare una proporzione maggiore di ossa completamente erose rispetto alle zampe posteriori (Figura supplementare 2, rosso come mancante). Pur rappresentando certamente la progressiva gravità artritica, l'assenza di ossa nelle zampe anteriori del TNF-Tg potrebbe anche evidenziare una limitazione nella risoluzione dell'immagine. Le gravi erosioni nelle zampe anteriori del TNF-Tg sono ulteriormente dimostrate da immagini rappresentative nel tempo che evidenziano la regione carpale (frecce bianche) e la progressiva lussazione completa della zampa dall'avambraccio (frecce gialle), particolarmente notevoli nelle femmine di TNF-Tg (Figura supplementare 3). Così, l'applicazione flessibile del metodo automatizzato di segmentazione ossea a strutture uniche della zampa anteriore ha mostrato prestazioni notevoli nei dataset WT (~87%) con una riduzione simile della precisione nelle zampe anteriori TNF-Tg con artrite infiammatoria-erosiva (67%-72%).

Disponibilità dati:
Come descritto nella sezione raccolta immagini micro-CT, i dati Hindpaw sono stati pubblicati^{in precedenza il 12, 23, 35} e sono disponibili pubblicamente al²⁸ https://doi.org/10.5281/zenodo.11191782. I dati per la quantificazione dell'accuratezza nel metodo di segmentazione SA per i dataset WT¹² e^{TNF-Tg 23} sono stati riutilizzati per confronto diretto con il nuovo modello DL descritto qui. Nessun dato specifico dello studio precedente aggiuntivo è stato riutilizzato^{nel 35}, ma sono stati utilizzati anche gli stessi dataset Hindpaw disponibili^{pubblicamente nel 28}. Ulteriori dettagli su licenze e riutilizzo dei dati sono forniti di seguito. Ai fini dello studio descritto, i relativi dati sulla zampa anteriore sono stati resi pubblicamente disponibili anche nel repository Zenodo (https://doi.org/10.5281/zenodo.14865639)²⁹.

I dati di accuratezza per il metodo di segmentazione SA WT^{datasets 12} sono stati riutilizzati nella Figura 2. Il riutilizzo di questo materiale è protetto dalla Licenza Creative Commons Attribuzione-NonCommercial-NoDerivatives 4.0 International https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode. In qualità di autori delle opere di riferimento, manteniamo il diritto di preparare altre opere derivate tramite i Diritti d'Autore di Elsevier https://beta.elsevier.com/about/policies-and-standards/copyright. I punti dati sono stati rivisualizzati per confronto con accuratezza nel tempo con le controparti TNF-Tg e confrontati direttamente con il nuovo metodo DL descritto qui.

I dati di accuratezza per i dataset WT e TNF-Tg 23 del metodo di segmentazione^{SA sono stati} riutilizzati per la Figura 2, e i dataset WT e TNF-Tg posteriori sono stati ulteriormente valutati per misurazioni volumetriche^{precedentemente 23}. Il riutilizzo del materiale è protetto dalla Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0/), che consente l'uso, la distribuzione e la riproduzione illimitati in qualsiasi mezzo, a condizione che l'autore originale e la fonte siano accreditati. I dati sono stati rivisualizzati per la valutazione dell'accuratezza nel tempo e confrontati direttamente con il nuovo metodo DL descritto qui.

Gli stessi dataset WT e TNF-Tg Posteriorpaw disponibili^{pubblicamente 28} sono stati ulteriormente utilizzati per misurazioni volumetriche ossee in precedenza per confronti innovativi con le coorti di corsa delle^{ruote 35}. Il riutilizzo del materiale è protetto dalla Licenza Creative Commons Attribuzione 4.0 Internazionale (https://creativecommons.org/licenses/by/4.0/), che consente l'uso, la condivisione, l'adattamento, la distribuzione e la riproduzione in qualsiasi mezzo o formato, purché si conceda il dovuto credito all'autore originale e alla fonte, fornisca un link alla licenza Creative Commons e indichi eventuali modifiche. Gli stessi dataset^{pubblicamente disponibili 28} sono stati utilizzati nel lavoro attuale, ma senza alcuna specifica utilizzazione o modifica dei dati precedentemente pubblicati.

Figura 1: Rilevamento automatizzato dello spazio articolare tramite elaborazione strategica delle immagini e previsioni di deep learning per la segmentazione ossea. I dataset micro-CT di Murine con visualizzazione da (A) le superfici dorsale (superiore) e plantare (inferiore) sono stati processati per (B) l'identificazione automatica successiva degli spazi articolari (blu) utilizzando un modello DL (descritto nella Figura Supplementare 1) sviluppato a partire da segmentazioni ossee standard^12,23. (C) La separazione ossea finale con successo (colori specifici per osso) è stata realizzata tramite una combinazione aggiuntiva di passaggi di elaborazione delle immagini, tra cui un top hat nero¹², un miglioramento^{strutturale 37} e un miglioramento della membrana con il voto tensoriale³⁸ per un'identificazione robusta dello spazio articolare per etichettare le singole ossa. (D) L'addestramento e la validazione (n=40 posteriori) della componente DL sono stati eseguiti con i posteriori murini WT di pari età (da 2 a 6 mesi, n=8 posteriori per ogni momento temporale) e della distribuzione sessuale (n=20 posteriori maschio/femmina), con un 25% randomizzato dei sottovolumi utilizzati per la validazione (3 sottovolumi per posteriore, totale 120 sottovolumi). Le restanti patte posteriori WT (n=44) sono state valutate come casi di prova per ulteriori analisi. La combinazione del modello DL e degli algoritmi di elaborazione delle immagini è stata valutata utilizzando dataset precedentemente pubblicati e pubblicamente^{disponibili 23,28}. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: L'implementazione dell'identificazione automatizzata dello spazio articolare con facilitazione del deep learning migliora la precisione della segmentazione ossea. (A-B) Dopo lo sviluppo del rilevamento automatico dello spazio articolare, abbiamo applicato il modello DL (a sinistra: spazi articolari blu; destra: colori di segmentazione specifici ossa) ai casi di test rimanenti per maschi e femmine WT. (C-D) Abbiamo inoltre valutato le prestazioni su coorti abbinate per età (maschi: 2-8 mesi; femmine: 2-5 mesi) di topi TNF-Tg con artrite progressiva infiammatoria-erosiva associata a mortalità precoce nelle^{femmine di 32} anni. Le immagini incastonate mostrano errori di segmentazione ad alto ingrandimento (scatole tratteggiate) dove le disconnessioni negli spazi articolari previsti (frecce bianche) portano a una perdita nella separazione ossea, causando errori di segmentazione ossea sovraconnesse. (E-F) Si noti che il periodo maschile di 6 mesi è stato omesso poiché tutti i dataset WT sono stati utilizzati per l'addestramento e la validazione, quindi non sono stati inclusi nella coorte di test DL. Rispetto ai nostri precedenti algoritmi di segmentazione^{SA 12,23}, la precisione della segmentazione (ossa correttamente segmentate / ossa totali) è stata notevolmente migliorata sia per i dataset WT che TNF-Tg con l'approccio DL, indipendentemente dal sesso (linee medie di accuratezza: nero solido = DL WT, nero tratteggiato = DL TNF-Tg, grigio solido = SA WT, grigio tratteggiato = SA TNF-Tg). Tuttavia, la precisione delle segmentazioni TNF-Tg diminuì notevolmente nel tempo e con il danno progressivo alle articolazioni rispetto al WT, anche se continuò a superare il metodo SA. (G-H) Le heatmap di precisione specificate ai compartimenti ossei (T = tarsi, MT = metatarsi, PP = falangi prossimali, DP = falangi distali, S = sesamoidi) mostrano l'aumento del tasso di errore nei topi TNF-Tg come prevalentemente localizzato nella regione tarsale (chiaro (giallo) = alto (100%), scuro (viola) = bassa (20%) precisione). Come detto, le immagini incassate (C-D) evidenziano la fonte dell'errore con spazi articolari disconnessi (frecce, immagine a sinistra) che portano a ossa sovraconnesse (colori, immagine a destra). In realtà, gli errori erano prevalentemente sovraconnessi (2+ ossa segmentate come 1 materiale; indicato nella Figura Supplementare 2), il che potrebbe rappresentare il processo patologico delle fusioni articolari con crescente gravità artritica. Statistiche: analisi a effetti misti a tre vie (SA contro DL; metodo x genotipo x tempo; E-F), analisi a effetti misti a due vie (WT vs TNF; genotipo x tempo; E-H); p<0,0001, **p<0,01, *p<0,05 (effetti di interazione); I dati presentati come deviazione media ± standard. Dimensioni del campione: n=34 postali WT maschio (n=2 a 2 mesi, n=4 a 3 mesi, n=6 a 4-5 mesi, n=0 a 6 mesi [tutti i dati usati per i test], n=8 a 7-8 mesi), n=10 posteriori femmina WT (n=4 a 2 mesi, n=2 a 3-5 mesi), n=56 maschio TNF-Tg (n=8 a 2-8 mesi), e n=48 posteriori femmina TNF-Tg (n=14 a 2-3 mesi e n=10 a 4-5 mesi). I dati utilizzati in questa figura sono stati modificati rispetto a studi^{precedenti 12,23}. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: L'applicazione flessibile della segmentazione di deep learning nello spazio articolare ad altre strutture complesse mette in evidenza l'anatomia ossea della zampa anteriore murina. Successivamente, abbiamo valutato il potenziale del modello DL di segmentazione dello spazio articolare per separare automaticamente le ossa in strutture complesse aggiuntive oltre la patta posteriore. Il metodo di segmentazione è stato implementato nei corrispondenti dataset micro-CT della zampa anteriore visualizzati dalle superfici (A) dorsale, (B) plantare, (C) laterale e (D) mediale con colori che rappresentano ossa segmentate singolarmente. Abbiamo identificato il potenziale per una segmentazione accurata delle ossa della zampa anteriore, inclusi carpi distinti, metacarpi (#, MET-F), falangi prossimali (^, PP-F), falangi distali (~, DP-F), sesamoidi (cerchi tratteggiati, S-F) e artigli (*) con etichettatura specifica per osso corrispondente all'anatomia nota⁴⁰ della zampa anteriore. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: I topi TNF-Tg mostrano una marcata distruzione delle articolazioni anteriori e fusioni ossee con una rapida riduzione della precisione della segmentazione. (A-B) Data la complessità e la piccola architettura delle zampe anteriori murine, evidenziate dalla visualizzazione dorsale (sinistra) e plantare (destra) delle immagini micro-CT di topi maschi e femmine WT, (C-D) l'anatomia e l'artrite associata nei topi TNF-Tg non sono state precedentemente valutate. L'applicazione del nostro nuovo approccio DL nello spazio articolare ha offerto una prima opportunità per valutare queste strutture complesse riducendo le sfide analitiche con un raggiungimento dell'>85% di accuratezza delle zampe anteriori WT, sebbene con una precisione inferiore rispetto alle zampe posteriori (linee medie di precisione: blu solido = posteriore WT, blu tratteggiato = TNF-Tg posteriore, rosso solido = WT anteriore, rosso tratteggiato = TNF-Tg anteriore). (E-F) Inoltre, le zampe anteriori del TNF-Tg hanno mostrato un rapido e drastico calo della precisione della segmentazione dovuto a errori localizzati nei carpi (cerchi gialli punteggiati in A a D) e ai sesamoidi (cerchi blu punteggiati in A a D) nel tempo. (G-H) Le riduzioni regionali diminuite nella precisione della segmentazione sono mostrate da mappe di calore (chiaro (giallo) = alto (100%), scuro (viola) = bassa (20%) precisione) dei compartimenti ossei (C = carpali, MC = metacarpali, PP = falangi prossimali, DP = falangi distali, S = sesamoidi). Si noti che il momento maschile di 6 mesi è stato omesso in (E) poiché tutti i dataset WT Hindpaw sono stati utilizzati per l'addestramento e la validazione, quindi non sono stati inclusi nella coorte di test DL. Statistiche: analisi a effetti misti a tre vie (posteriore vs zampa anteriore, WT vs TNF; tipo di zampa x genotipo x tempo, effetti di interazione riportati; E-F), analisi a effetti misti a due vie con confronti multipli di Sidak (WT vs TNF; genotipo x tempo; G-H); p<0,0001, **p<0,01, *p<0,05; I dati presentati come deviazione media ± standard. Dimensioni dei campioni: n=55 zampe anteriori WT maschio (n=8 a 2-3 e 5-8 mesi, n=7 a 4 mesi), n=29 zampe anteriori femmina WT (n=8 a 2-3 mesi, n=7 a 4 mesi, n=6 a 5 mesi), n=54 zampe anteriori TNF-Tg maschio (n=8 a 2 e 4-8 mesi, n=6 a 3 mesi), e n=50 zampe anteriori (n=14 a 2-3 mesi, n=12 a 4 mesi e n=10 a 5 mesi). Dati DL della zampa posteriore (E-F) riprodotti dalla Figura 2E-F per ulteriori confronti con i dati della zampa anteriore DL. Clicca qui per visualizzare una versione più grande di questa figura.

Figura supplementare 1: Sviluppo e addestramento del modello di deep learning con rilevamento congiunto. (A) Le regioni articolari di verità di base sono state ottenute dalle segmentazioni iniziali dell'osso di verità di base tramite una ricetta automatica usando Amira, che combina espansione dell'etichetta, estrazione delle interfacce di etichetta, mascheramento e dilatazione. (B) Per ciascuno dei 20 dataset micro-CT di addestramento (40 posteriori), sono stati estratti manualmente 6 sottovolumi di 200 x 200 voxel da tarsali, falangi distali e regioni di fondo, equamente divisi tra zampe sinistra e destra (3 patch per ogni posteriore). I 120 sottovolumi risultanti sono stati poi utilizzati come input per un modulo di addestramento Amira di segmentazione 3D insieme alle corrispondenti regioni articolate etichettate come target di verità al terreno. Un sottoinsieme randomizzato di patch al 25% è stato utilizzato per la validazione e controllare l'overfitting del modello durante l'addestramento. Clicca qui per scaricare questo File.

Figura supplementare 2: Distribuzione distinta dei tipi di errore tra le zampe posteriori e anteriori. Simile all'algoritmo di segmentazione SA precedentemente sviluppato^12,23, il modello DL nello spazio articolare produceva la maggiore proporzione di errori sovraconnettendo ossa (verdi, 2+ ossa segmentate come 1 materiale), particolarmente evidenti nelle zampe posteriori (A-D) o (E-F) WT anteriori. Come indicato nella Figura 2, si verificano errori di sovraconnessione se c'è un gap nello spazio articolare rilevato che può verificarsi per vari motivi, tra cui maggiore vicinanza ossea rispetto alla risoluzione dell'immagine, sfocatura di artefatti di movimento nello spazio articolare o rimodellamento osseo nel contesto dell'artrite, portando a fusioni articolari. (G-H) Curiosamente, le zampe anteriori del TNF-Tg mostrano una proporzione notevolmente maggiore di ossa mancanti (rosso), il che significa che l'osso era completamente assente dalla segmentazione. Questi errori sono probabilmente attribuiti a una combinazione di gravi erosioni e carenze nella risoluzione dell'immagine, dato il dimensione relativamente ridotta delle ossa delle zampe anteriori, in particolare dei carpi e dei sesamoidi, come principale fonte di errore (Figura 4), rispetto a quelle delle zampe posteriori. Altri tipi di errori includono sovra-split (blu, 1 osso segmentato in materiali 2+) o sia sovraconnessi che sovra-splittati (arancione). I grafici a torta rappresentano le proporzioni di errori totali attribuiti a specifici sottotipi di errore. Clicca qui per scaricare questo File.

Figura supplementare 3: Valutazione dell'artrite progressiva TNF-Tg della zampa anteriore con gravi erosioni ossee e lussazioni articolari. Per visualizzare i cambiamenti strutturali nelle zampe anteriori nel tempo, abbiamo fornito immagini rappresentative della superficie dorsale da (A) maschio WT, (B) maschio TNF-Tg, femmina (C) WT femmina e (D) femmina TNF-Tg nelle zampe anteriori nel tempo dai 2 ai 5 mesi (da sinistra a destra) per evidenziare in particolare la regione carpale (frecce bianche). Si notino le gravi erosioni ossee e rimodellazioni che avvengono circa 4 mesi nelle femmine e 5 mesi nei maschi. Questi periodi sono precedenti all'insorgenza tipica di gravi erosioni ossee nelle zampe posteriori, circa 5 mesi nelle femmine e 7-8 mesi nei^{maschi 23} anni. (E) Una vista laterale delle zampe anteriori femminili di TNF-Tg è inoltre mostrata per mostrare la progressiva lussazione dell'intera zampa dall'avambraccio (frecce gialle) associata alla distruzione dell'articolazione. Clicca qui per scaricare questo File.

Tabella supplementare 1: Dimensioni campionari di wt posteriori per addestramento, validazione e test metodologici DL. Le dimensioni dei campioni nel numero di posteriori sono fornite per età (mesi 2-8) e organizzate per dataset utilizzati per addestramento/validazione della DL, test metodologici totali o per quei dispositivi omessi a causa di errori di imaging, artefatti di movimento grave o morte prima della micro-TAC programmata. I globuli neri dai mesi 6-8 per le femmine indicano la sospensione pianificata delle scansioni dopo 5 mesi a causa della mortalità precoce delle controparti sperimentali con TNF-Tg. Clicca qui per scaricare questo File.

Tabella supplementare 2: Dimensioni dei campioni di zampe posteriori del TNF-Tg per test metodologici. Le dimensioni dei campioni in base al numero di posteriori sono fornite per età, mesi 2-8 mesi, e organizzate per dataset utilizzati per test metodologici totali o per quelli omessi a causa di errori di imaging, artefatti di movimento gravi e/o morte prima della micro-TAC programmata. I globuli neri dai mesi 6-8 per le femmine indicano la sospensione pianificata delle scansioni dopo 5 mesi a causa della mortalità precoce delle femmine di TNF-Tg. Clicca qui per scaricare questo File.

Tabella supplementare 3: Dimensioni dei campioni delle zampe anteriori WT per test metodologici. Le dimensioni dei campioni nel numero di zampe anteriori sono fornite per età, mesi 2-8 mesi, e organizzate per dataset utilizzati per il test metodologico totale o per quelli omessi a causa di errori di immagigine, artefatti di movimento grave e/o morte prima della micro-TAC programmata. I globuli neri dai mesi 6-8 per le femmine indicano la sospensione pianificata delle scansioni dopo 5 mesi a causa della mortalità precoce delle controparti sperimentali con TNF-Tg. *A 3 mesi per le femmine WT, n=1 zampa anteriore aveva omesso DP-F3, PP-F3, DP-F4 e PP-F4 a causa di errori di imaging, anche se il resto della zampa anteriore è stato valutato. Clicca qui per scaricare questo File.

Tabella supplementare 4: Dimensioni dei campioni delle zampe anteriori TNF-Tg per test metodologici. Le dimensioni dei campioni nel numero di zampe anteriori sono fornite per età, mesi 2-8 mesi, e organizzate per dataset utilizzati per il test metodologico totale o per quelli omessi a causa di errori di immagigine, artefatti di movimento grave e/o morte prima della micro-TAC programmata. I globuli neri dai mesi 6-8 per le femmine indicano la sospensione pianificata delle scansioni dopo 5 mesi a causa della mortalità precoce delle femmine di TNF-Tg. Clicca qui per scaricare questo File.

Tabella supplementare 5: Accuratezza ossea individuale delle zampe posteriori maschili. Per identificare le ossa particolari che riducono la precisione di segmentazione tra TNF-Tg e WT nelle zampe posteriori, vengono forniti dettagli sul numero di ossa segmentate correttamente, in modo errato e sulla percentuale corretta rispetto al totale valutato nei topi maschi. All'interno della regione tarsale dove si verificano i deficit primari (Figura 2), il calcaneo (CALC), il cuneiforme intermedio (non fuso, INT) e il cuneiforme naviculare/laterale (non fuso) hanno mostrato la diminuzione più evidente della precisione per le zampe posteriori del TNF-Tg. Statistiche: il test esatto di Fisher; *p<0,05, **p<0,01, ***p<0,001, ****p<0,0001. Clicca qui per scaricare questo File.

Tabella supplementare 6: Precisione ossea individuale delle zampe posteriori femmine. Per identificare le ossa particolari che riducono la precisione di segmentazione tra TNF-Tg e WT posteriori, vengono forniti dettagli sul numero di ossa segmentate correttamente, in modo errato e sulla percentuale corretta rispetto al totale valutato nelle femmine di topo. Data l'utilizzo di dataset per l'addestramento e la validazione della DL, insieme al periodo ridotto a 5 mesi per il confronto con topi TNF-Tg che presentano mortalità^{precoce 32}, il numero totale di zampe posteriori allocate per il test DL per le femmine WT limita la capacità per confronti ossei individuali di spiegare la diminuzione complessiva dell'accuratezza nei dataset TNF-Tg. Statistiche: il test esatto di Fisher; p<0,0001. Clicca qui per scaricare questo File.

Tabella supplementare 7: Accuratezza ossea individuale delle zampe anteriori maschili. Per identificare le ossa particolari che riducono la precisione di segmentazione tra TNF-Tg e WT tra le zampe anteriori WT, vengono forniti dettagli sul numero di ossa segmentate correttamente, in modo errato e sulla percentuale corretta rispetto al totale valutato nei topi maschi. All'interno delle regioni carpale e sesamoidi dove si verificano i deficit primari (Figura 4), il capitato (CAP), il triquetrum (TRI), la centrale (non fusa, CENT), lo scafoide/lunato (SCAPHATE), il trapezio (ZOID) e i sesamoidi 2-10 hanno mostrato la diminuzione più evidente della precisione per le zampe anteriori TNF-Tg. Da notare che l'accuratezza dei sesamoidi 1 e 2 è carente sia per i dataset WT che TNF-Tg. Curiosamente, il metacarpo 1 ha effettivamente mostrato miglioramenti nella precisione della segmentazione nei topi TNF-Tg, probabilmente dovuti a articolazioni ravvicinate con ossa adiacenti che portano a errori di sovraconnessione mitigati con erosioni artritiche. Statistiche: il test esatto di Fisher; *p<0,05, **p<0,01, ***p<0,001, ****p<0,0001. Clicca qui per scaricare questo File.

Tabella supplementare 8: Precisione ossea individuale delle zampe anteriori femminili. Per identificare le ossa particolari che riducono la precisione della segmentazione tra TNF-Tg e WT tra zampe anteriori WT, vengono forniti dettagli sul numero di ossa segmentate correttamente, in modo errato e sulla percentuale corretta rispetto al totale valutato nelle femmine di topo. Nelle regioni carpale e sesamoidi dove si verificano i deficit primari (Figura 4), il capitato (CAP), l'hamato (HAM), il triquetrum (TRI) e i sesamoidi 1-10 hanno mostrato la diminuzione più evidente della precisione per le zampe anteriori TNF-Tg. Da notare che l'accuratezza dei sesamoidi 1 e 2 è carente sia per i dataset WT che TNF-Tg. Statistiche: il test esatto di Fisher; *p<0,05, ***p<0,001, ****p<0,0001. Clicca qui per scaricare questo File.

File supplementare 1: Ricetta di segmentazione congiunta per l'addestramento del modello di deep learning. Serie di passaggi incorporati per estrarre spazi articolari segmentati da micro-CT postpaw pre-segmentati di standard d'oro, utilizzati per addestrare il modello DL per l'identificazione dello spazio articolare. Clicca qui per scaricare questo File.

File supplementare 2: Ricetta della segmentazione ossea utilizzando elaborazione di immagini con facilitazione di deep learning. Serie di passaggi incorporati per trasformare i dati originali micro-CT in segmentazioni di singole ossa utilizzando passaggi di elaborazione delle immagini combinati con l'output dell'identificazione dello spazio articolare DL per guidare la separazione ossea. Clicca qui per scaricare questo File.

File supplementare 3: Pesi di previsione per il deep learning. File utilizzato come input per i pesi durante la previsione di deep learning della segmentazione dello spazio articolato. Clicca qui per scaricare questo File.

Fascicolo supplementare 4: Architettura di previsione del deep learning. File utilizzato come input per l'architettura durante la previsione del deep learning della segmentazione dello spazio congiunto. Clicca qui per scaricare questo File.

File supplementare 5: script python per deep learning. File utilizzato come script python per la previsione del deep learning della segmentazione dello spazio congiunto. Clicca qui per scaricare questo File.

Discussion

Fino al termine delle analisi completamente automatizzate dei volumi ossei nei topi, abbiamo generato ulteriori miglioramenti nella segmentazione dei dati micro-CT in strutture complesse, in particolare nelle zampe posteriori murine. La strategia era di mirare agli spazi articolari per creare confini per la separazione ossea, dove concentrarsi sullo spazio negativo tra le ossa permetteva un'implementazione flessibile in strutture alternative come la zampa anteriore, poiché l'approccio non era specifico per la forma e l'anatomia delle distinte ossa posteriori. Sebbene la precisione della segmentazione diminuisse quando eseguita sulle zampe anteriori, i dataset WT mostravano comunque un'accuratezza ossea dell'>85%. I processi correttivi ben^{descritti 12} potrebbero essere applicati per creare dataset di modelli pre-annotati per l'addestramento DL, abbassando drasticamente le barriere alla creazione di algoritmi specifici per struttura. Questo approccio innovativo ha anche permesso l'applicazione su zampe TNF-Tg con artrite infiammatoria-erosiva grave e progressiva. Nelle zampe del TNF-Tg, il calo della precisione della segmentazione è stato evidente nel tempo, corrispondente all'aumento progressivo delle erosioni ossee e alle eventuali fusioni patologiche osso-osso derivanti dalla rimodellazione delle superfici erose con l'aumento dell'età. Pertanto, l'applicazione straordinariamente efficace di un modello di segmentazione automatizzato e altamente accurato nelle strutture WT ha il potenziale di guidare future applicazioni nei modelli di malattie o in altre articolazioni complesse. Ulteriori indagini si concentreranno sull'ottimizzazione della segmentazione delle articolazioni artritiche che potrebbero quantificare gli effetti patologici delle erosioni ossee e delle fusioni per identificare biomarcatori della malattia, come descritto^{in precedenza 23}.

Nonostante il successo dell'uso della micro-TC imaging per monitorare l'erosione delle ossa piccole nei modelli preclinici di artrite 12,23,25,35,42, l'applicazione delle modalità CT nella valutazione clinica è stata limitata. In particolare per l'artrite reumatoide, i sistemi di punteggio sono implementati principalmente per MRI⁴³, ultrasuoni^44,45 e/o raggi X^{convenzionali 46} per generare misure semi-quantitative e dipendenti dall'utente sulla gravità della malattia, spesso in combinazione con metriche^{cliniche 47}. Poiché la TC è considerata il riferimento d'oro per la valutazione dell'integrità ossea^48,49, un'ulteriore ottimizzazione degli approcci analitici clinicamente traducibili promette di fornire un enorme beneficio per una valutazione quantitativa affidabile e longitudinale dei volumi ossei, sia per informare le misure della gravità della malattia sia per valutare la risposta al trattamento. Sebbene le modalità di imaging come la risonanza magnetica forniscano una gamma maggiore di informazioni, incluse regioni di infiammazione, cambiamenti del midollo osseo e patologie dei tessuti molli, nuovi approcci di imaging TC con input multi-energetici^offrono il potenziale per estendere l'utilizzo della TC oltre l'architettura ossea. Nonostante questi benefici proposti, riconosciamo anche le immense sfide nella traduzione clinica degli strumenti analitici preclinici sviluppati, considerando l'applicazione alle immagini cliniche CT a bassa risoluzione e l'implementazione in anatomia umana distinta. Similmente alla nostra recente identificazione di biomarcatori specifici ossei nei modelli preclinici di artrite²³, uno sforzo clinico dettagliato che indaghi metriche puramente quantitative dell'erosione ossea rappresenterebbe un importante progresso nel monitoraggio della malattia.

Sebbene il nostro lavoro attuale fornisca una base per l'implementazione clinica, dato il potenziale di applicazione flessibile a nuove strutture mirando agli spazi articolari, una limitazione primaria è la dipendenza da un software pre-clinico ben documentato e orientato alla ricerca in Amira, non destinato alla diagnosi clinica. Tuttavia, gli algoritmi sottostanti e il design strategico possono essere facilmente implementati in ambienti software alternativi grazie alla metodologia dettagliata fornita. Indipendentemente dal software di ricerca utilizzato, l'incorporazione nell'uso clinico (piuttosto che nell'investigazione) richiede sforzi traslazionali che soddisfino i requisiti normativi per l'introduzione nella pratica clinica. Per l'applicazione della nuova strategia di segmentazione, è anche importante considerare i potenziali limiti nella risoluzione differenziale delle immagini, dove abbiamo già descritto che la risoluzione dell'immagine (cioè voxel/dimensione della struttura) è un determinante chiave della precisione della segmentazione utilizzando esclusivamente algoritmi di elaborazione^{delle immagini 12}. In effetti, ciò è probabilmente associato alla leggera riduzione della precisione di segmentazione delle zampe anteriori, dove la diminuzione delle strutture delle zampe anteriori produrrebbe intrinsecamente una qualità dell'immagine relativamente ridotta rispetto alle zampe posteriori. È inoltre importante riconoscere la discrepanza nella fascia d'età tra i dataset di addestramento (2-6 mesi) e test (inclusi 7-8 mesi), che può influire sull'applicazione e sull'accuratezza con i cambiamenti legati all'età, inclusa la crescita ossea continua o l'insorgenza di una patologia articolare. I nostri risultati supportano la mantenuta accuratezza per le zampe posteriori WT nell'analisi DL oltre i 6 mesi di età (Figura 2E), suggerendo che la decrezione delle prestazioni di segmentazione nei corrispettivi TNF-Tg sia probabilmente più legata alla progressione infiammatoria-erosiva indipendentemente dall'età stessa. Tuttavia, sono necessari ulteriori studi su topi selvatici anziani e anziani per garantire un'accuratezza costante indipendentemente dalla particolare fascia d'età della coorte di addestramento DL. Infine, estendere i metodi descritti oltre un approccio di separazione ossea a classe singola verso uno strumento analitico multi-classe più robusto che includa nomi ossei previsti basati sull'architettura strutturale o sulla posizione delle coordinate in un'anatomia fissa (cioè simile a un albero atlante) fornirà certamente miglioramenti essenziali e probabilmente favorirà l'adozione dei metodi.

In conclusione, abbiamo progettato una nuova strategia di segmentazione micro-CT facilitata per l'elaborazione delle immagini e la DL per isolare singoli ossa all'interno di strutture complesse. Questa innovazione dimostra un notevole miglioramento sia nell'automaticità che nella precisione della segmentazione rispetto al nostro recente workflow^{SA 12}, che qui ha servito come base per la produzione di numerose segmentazioni standard d'oro per addestrare i modelli DL e ottimizzare i miglioramenti attuali. Sebbene la traduzione dei metodi di segmentazione nelle zampe anteriori e nelle zampe con artrite infiammatoria-erosiva abbia mostrato prestazioni deprecate, l'implementazione di questo approccio di segmentazione DL potrebbe ridurre gli sforzi manuali necessari per generare dataset completamente annotati al fine di consentire modelli di addestramento DL specifici per patologia o struttura. L'utilizzo di questo metodo DL in studi futuri potrebbe consentire l'ottimizzazione della segmentazione ossea tra diverse specie e modelli di malattie nella ricerca preclinica, consentendo un'analisi quantitativa dettagliata a valle. Invitiamo inoltre all'integrazione di tali strategie nella ricerca clinica, poiché promettono benefici futuri per la cura dei pazienti.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Sistema di calcolo	Dettagli forniti nella sezione Protocollo	Dettagli forniti nella sezione Protocollo
Software per la visualizzazione delle immagini	ThermoFisher Scientific	v2022.2 o successivamente	Amira
Isoflurano	VetOne	13985-528-60	Fluriso, 1-3% per anestesia
Topi	Centro Medico dell'Università di Rochester	N/A	C57BL/6, TNF-transgenico
Micro-CT	Scanco Medical	N/A	VivaCT 40
Software statistico	GraphPad Software, Inc	v10.2.0 o successive	GraphPad Prism
Nastro	N/A	N/A	Fissare le zampe degli animali per l'imaging
Tubi	N/A	N/A	Plastica Derlin e acrilico trasparente per la stabilizzazione degli animali