Summary
Viene introdotto un protocollo di segmentazione degli oggetti per le immagini di tomografia computerizzata orbitale (TC). I metodi di etichettatura della verità fondamentale delle strutture orbitali utilizzando la super-risoluzione, estraendo il volume di interesse dalle immagini CT e modellando la segmentazione multi-etichetta utilizzando U-Net sequenziale 2D per le immagini TC orbitali sono spiegati per l'apprendimento supervisionato.
Abstract
Recentemente, i modelli di segmentazione basati sul deep learning sono stati ampiamente applicati nel campo oftalmico. Questo studio presenta il processo completo di costruzione di un modello di segmentazione della tomografia computerizzata orbitale (CT) basato su U-Net. Per l'apprendimento supervisionato, è necessario un processo laborioso e dispendioso in termini di tempo. Viene introdotto il metodo di etichettatura con super-risoluzione per mascherare efficacemente la verità di terra sulle immagini TC orbitali. Inoltre, il volume di interesse viene ritagliato come parte della pre-elaborazione del set di dati. Quindi, dopo aver estratto i volumi di interesse delle strutture orbitali, il modello per segmentare le strutture chiave della CT orbitale viene costruito utilizzando U-Net, con fette 2D sequenziali che vengono utilizzate come input e due brevi memorie convoluzionali bidirezionali a lungo termine per conservare le correlazioni inter-fette. Questo studio si concentra principalmente sulla segmentazione del bulbo oculare, del nervo ottico e dei muscoli extraoculari. La valutazione della segmentazione rivela la potenziale applicazione della segmentazione alle immagini TC orbitali utilizzando metodi di deep learning.
Introduction
L'orbita è uno spazio piccolo e complicato di circa 30,1 cm3 che contiene strutture importanti come il bulbo oculare, i nervi, i muscoli extraoculari, i tessuti di supporto e i vasi per la visione e i movimenti del bulbo oculare1. I tumori orbitali sono escrescenze anormali dei tessuti nell'orbita e alcuni di essi minacciano la visione o il movimento del bulbo oculare dei pazienti, che possono portare a disfunzioni fatali. Per conservare la funzione visiva dei pazienti, i medici devono decidere le modalità di trattamento in base alle caratteristiche del tumore e una biopsia chirurgica è generalmente inevitabile. Questa area compatta e affollata spesso rende difficile per i medici eseguire una biopsia senza danneggiare la normale struttura. L'analisi delle immagini della patologia basata sul deep learning per determinare le condizioni dell'orbita potrebbe aiutare a evitare lesioni non necessarie o evitabili ai tessuti orbitali durante la biopsia2. Un metodo di analisi delle immagini per i tumori orbitali è il rilevamento e la segmentazione del tumore. Tuttavia, la raccolta di grandi quantità di dati per le immagini TC contenenti tumori orbitali è limitata a causa della loro bassa incidenza3. L'altro metodo efficiente per la diagnosi computazionale del tumore4 consiste nel confrontare il tumore con le normali strutture dell'orbita. Il numero di immagini TC orbitali nelle strutture normali è relativamente maggiore di quello nei tumori. Pertanto, la segmentazione delle normali strutture orbitali è il primo passo per raggiungere questo obiettivo.
Questo studio presenta l'intero processo di segmentazione della struttura orbitale basata sul deep learning, compresa la raccolta dei dati, la pre-elaborazione e la successiva modellazione. Lo studio è destinato ad essere una risorsa per i medici interessati a utilizzare il metodo corrente per generare in modo efficiente un set di dati mascherato e per gli oftalmologi che richiedono informazioni sulla pre-elaborazione e la modellazione per le immagini TC orbitali. Questo articolo presenta un nuovo metodo per la segmentazione della struttura orbitale e U-Net sequenziale, un modello di segmentazione 2D sequenziale basato su una soluzione rappresentativa di deep learning in U-Net per la segmentazione di immagini mediche. Il protocollo descrive la procedura dettagliata della segmentazione dell'orbita, tra cui (1) come utilizzare uno strumento di mascheramento per la verità di terra della segmentazione della struttura orbitale, (2) i passaggi necessari per la pre-elaborazione delle immagini orbitali e (3) come addestrare il modello di segmentazione e valutare le prestazioni della segmentazione.
Per l'apprendimento supervisionato, quattro oftalmologi esperti che erano stati certificati per oltre 5 anni hanno annotato manualmente le maschere del bulbo oculare, del nervo ottico e dei muscoli extraoculari. Tutti gli oftalmologi hanno utilizzato il programma software di mascheramento (MediLabel, vedi la tabella dei materiali), che utilizza la super-risoluzione per un mascheramento efficiente sulle scansioni TC. Il software di mascheramento ha le seguenti funzioni semi-automatiche: (1) SmartPencil, che genera cluster di mappe super pixel con valori simili di intensità dell'immagine5; (2) SmartFill, che genera maschere di segmentazione calcolando la funzione energetica del primo piano e dello sfondo in corso 6,7; e (3) Correzione automatica, che rende i bordi delle maschere di segmentazione puliti e coerenti con l'immagine originale. Le immagini di esempio delle feature semiautomatiche sono illustrate nella Figura 1. I passaggi dettagliati del mascheramento manuale sono forniti nella sezione protocollo (passaggio 1).
Il prossimo passo è la pre-elaborazione delle scansioni TC orbitali. Per ottenere i volumi orbitali di interesse (VOI), vengono identificate le aree dell'orbita in cui il bulbo oculare, il muscolo e il nervo si trovano in condizioni normali e queste aree vengono ritagliate. Il set di dati ha un'alta risoluzione, con una risoluzione voxel nel piano di <1 mm e uno spessore della sezione, quindi il processo di interpolazione viene saltato. Invece, il ritaglio della finestra viene eseguito al livello di ritaglio 48 HU e alla finestra 400 HU. Dopo il ritaglio e il ritaglio della finestra, vengono generate tre sezioni seriali dei VOI orbitali perl'input 8 del modello di segmentazione. La sezione relativa al protocollo (passaggio 2) fornisce dettagli sulle fasi di pre-elaborazione.
U-Net9 è un modello di segmentazione ampiamente utilizzato per le immagini mediche. L'architettura U-Net comprende un encoder, che estrae le caratteristiche delle immagini mediche, e un decodificatore, che presenta semanticamente le caratteristiche discriminantiche. Quando si utilizza U-Net per le scansioni TC, gli strati convoluzionali sono costituiti da filtri 3D10,11. Questa è una sfida perché il calcolo dei filtri 3D richiede una grande capacità di memoria. Per ridurre i requisiti di memoria per 3D U-Net, è stato proposto SEQ-UNET8, in cui un insieme di sezioni 2D sequenziali sono utilizzate nella U-Net. Per prevenire la perdita di correlazioni spaziotemporali tra le sezioni di immagine 2D della scansione TC 3D, due memorie brevi convoluzionali a lungo termine bidirezionali (C-LSTM)12 sono impiegate in U-Net di base. Il primo C-LSTM bidirezionale estrae le correlazioni tra le sezioni all'estremità dell'encoder. Il secondo C-LSTM bidirezionale, dopo l'uscita del decoder, trasforma le informazioni di segmentazione semantica nelle dimensioni della sequenza di fette in una singola segmentazione dell'immagine. L'architettura di SEQ-UNET è illustrata nella Figura 2. I codici di implementazione sono disponibili all'github.com/SleepyChild1005/OrbitSeg e l'utilizzo dei codici è dettagliato nella sezione protocollo (passaggio 3).
Protocol
Il presente lavoro è stato eseguito con l'approvazione dell'Institutional Review Board (IRB) del Catholic Medical Center e la privacy, la riservatezza e la sicurezza delle informazioni sanitarie sono state protette. I dati della TC orbitale sono stati raccolti (da soggetti umani non identificati) da ospedali affiliati al College of Medicine, all'Università Cattolica della Corea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital e St. Vincent Hospital). Le scansioni TC orbitali sono state ottenute da gennaio 2016 a dicembre 2020. Il set di dati conteneva 46 scansioni TC orbitali di uomini e donne coreani di età compresa tra 20 e 60 anni. L'ambiente di runtime (RTE) è riepilogato nella tabella supplementare 1.
1. Mascheramento del bulbo oculare, del nervo ottico e dei muscoli extraoculari sulle scansioni TC orbitali
- Eseguire il programma software di mascheramento.
NOTA: Il programma software di mascheramento (MediLabel, vedere la tabella dei materiali) è un programma software di etichettatura di immagini mediche per la segmentazione, che richiede pochi clic e ha un'alta velocità. - Caricare il CT orbitale facendo clic sull'icona Apri file e selezionando il file CT di destinazione. Quindi, le scansioni TC vengono visualizzate sullo schermo.
- Maschera il bulbo oculare, il nervo ottico e i muscoli extraoculari usando super pixel.
- Eseguire la SmartPencil facendo clic sulla procedura guidata SmartPencil in MediLabel (Video 1).
- Controlla la risoluzione della mappa Super Pixel, se necessario (ad esempio, 100, 500, 1.000 e 2.000 Super pixel).
- Fai clic sul gruppo di super pixel del bulbo oculare, del nervo ottico e dei muscoli extraoculari sulla mappa dei super pixel, dove sono raggruppati pixel con valori di intensità dell'immagine simili.
- Perfezionare le maschere con le funzioni di correzione automatica in MediLabel.
- Fare clic sulla procedura guidata SmartFill dopo aver mascherato alcuni dei super pixel sulle sezioni (Video 2).
- Fare clic sull'icona Correzione automatica e assicurarsi che le etichette delle maschere corrette siano calcolate (Video 3).
- Ripetere i passaggi 1.3 e 1.4 fino al completamento del perfezionamento del mascheramento.
- Salva le immagini mascherate.
2. Pre-elaborazione: ritaglio della finestra e ritaglio dei VOI
- Estrarre i VOI con preprocessing_multilabel.py (il file è scaricabile da GitHub).
- Esegui preprocessing_multilabel.py.
- Controlla le scansioni e le maschere, che vengono ritagliate e salvate nella cartella VOIs.
- Trasformare i VOI nel set di tre sezioni CT sequenziali per l'input a SEQ-UNET con builder_multilabel.py (il file è scaricabile da GitHub).
- Esegui sequence_builder_multilabel.py.
- Assicuratevi che le sezioni e le maschere vengano ridimensionate a 64 pixel per 64 pixel durante la trasformazione.
- Durante la trasformazione, eseguire il ritaglio con il livello di ritaglio 48 HU e la finestra 400 HU.
- Controllare le scansioni CT trasformate salvate (file nii) e le maschere (file nii) rispettivamente nella cartella di scansione e nella cartella maschera nelle cartelle pre-elaborate.
3. Quattro convalide incrociate del modello di segmentazione orbitale
- Compilate il modello attenendovi alla procedura riportata di seguito.
- Esegui main.py.
- Quando si esegue main.py, fornire il numero di piegatura delle quattro convalide incrociate con "-fold num x", dove x è 0, 1, 2 o 3.
- Quando si esegue main.py, utilizzare l'epoca, ovvero il numero di iterazioni di addestramento, come opzione, ad esempio "-epoch x", dove x è il numero dell'epoca. Il numero predefinito è 500.
- Quando si esegue main.py, impostare la dimensione del batch, ovvero il numero di campioni di training in una singola sessione di training. Il numero predefinito è 32.
- In main.py, caricare le scansioni TC e le maschere e inizializzare SEQ-UNET con i parametri pre-addestrati utilizzando il set di dati LIDC-IDRI (scaricabile dall'archivio di imaging del cancro).
- In main.py, eseguire il test del modello dopo l'addestramento. Calcola le metriche di valutazione, il punteggio dei dadi e la somiglianza del volume e salvali nella cartella delle metriche.
- Controllare i risultati nella cartella segmentata.
Representative Results
Per la valutazione quantitativa, sono state adottate due metriche di valutazione, che sono state utilizzate nel compito di segmentazione dell'immagine CT. Queste erano due metriche di somiglianza, tra cui il punteggio dei dadi (DICE) e la somiglianza del volume (VS)13:
DADI (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
dove TP, FP e FN indicano rispettivamente i veri valori positivi, falsi positivi e falsi negativi, quando vengono forniti il risultato della segmentazione e la maschera di segmentazione.
Le prestazioni di SEQ-UNET per la segmentazione della struttura orbitale sono state valutate mediante quattro convalide incrociate. I risultati sono riportati nella tabella 1. La segmentazione del bulbo oculare utilizzando SEQ-UNET ha raggiunto un punteggio di dadi di 0,86 e un VS di 0,83. La segmentazione dei muscoli extraoculari e del nervo ottico ha raggiunto punteggi bassi (0,54 e 0,34, rispettivamente). Il punteggio dei dadi della segmentazione del bulbo oculare era superiore all'80% perché aveva una grande porzione di VOI e poca eterogeneità tra le scansioni TC. I punteggi dei dadi dei muscoli extraoculari e del nervo ottico erano relativamente bassi perché apparivano raramente nel volume CT e sono stati trovati in un numero relativamente piccolo di fette TC. Tuttavia, i punteggi di somiglianza visiva dei muscoli extraoculari e del nervo ottico (0,65 e 0,80, rispettivamente) erano più alti dei loro punteggi dei dadi. Questo risultato indica che la specificità della segmentazione era bassa. Nel complesso, il punteggio dei dadi e la somiglianza visiva di SEQ-UNET per la segmentazione di tutte le sottostrutture orbitali erano rispettivamente 0,79 e 0,82. Esempi dei risultati visivi della segmentazione della struttura orbitale sono mostrati nella Figura 3. Nella Figura 3A-C, il blu è il risultato di segmentazione previsto e il rosso è la maschera di verità di base. Nella Figura 3D, rosso, verde e arancione sono rispettivamente il bulbo oculare, il muscolo ottico e la segmentazione nervosa.
Figura 1: Funzioni di mascheramento semiautomatico. Mascheramento del bulbo oculare, dei muscoli extraoculari e del nervo ottico sulle scansioni TC orbitali utilizzando (A) SmartPencil, (B) SmartFill e (C) AutoCorrection. La maschera del bulbo oculare è etichettata da SmartPencil, che calcola i super pixel delle fette, e la maschera viene realizzata facendo clic sui super pixel. Dopo aver fatto clic su alcuni dei super pixel del bulbo oculare, l'intera maschera del bulbo oculare può essere calcolata da SmartFill. Nel caso del mascheramento del nervo ottico, il perfezionamento del mascheramento viene effettuato mediante correzione automatica. I bulbi oculari etichettati di colore blu sono mostrati in (A) e (B). Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 2: Architettura SEQ U-Net. Sezioni 2D sequenziali come input e output; due C-LSTM bidirezionali sono applicati alla fine dei blocchi di codifica e decodifica basati sull'architettura U-Net. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Figura 3: Risultati della segmentazione delle strutture orbitali. (A) Bulbo oculare (etichetta 1), (B) muscolo ottico (etichetta 2), (C) nervo ottico (etichetta 3) e (D) multi-etichetta (etichette 1, 2 e 3). L'immagine a sinistra è il VOI dell'orbita, l'immagine centrale è la segmentazione prevista e l'immagine a destra è la verità di base. In (A), (B) e (C), il blu è il risultato di segmentazione previsto e il rosso è la maschera di verità di base. In (D), rosso, verde e arancione sono rispettivamente il bulbo oculare, il muscolo extraoculare e la segmentazione del nervo ottico. La segmentazione prevista ha mostrato prestazioni elevate (DICE: 0,86 vs 0,82) nel caso del bulbo oculare ma basse prestazioni nel caso del muscolo extraoculare (DICE: 0,54 vs 0,65) e del nervo ottico (DICE: 0,34 vs 0,8). Fare clic qui per visualizzare una versione ingrandita di questa figura.
| Multi-etichetta | Etichetta 1 (bulbo oculare) | Etichetta 2 (Muscolo extraoculare) | Etichetta 3 (nervo ottico) | |||||
| DADO | VS | DADO | VS | DADO | VS | DADO | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabella 1: Risultati della segmentazione per il punteggio dei dadi e la somiglianza visiva. Il bulbo oculare, che ha un numero relativamente elevato di fette, è stato segmentato bene con un DICE di 0,8, ma il muscolo extraoculare e il nervo ottico, che hanno un piccolo numero di fette e forma della linea, sono stati parzialmente segmentati con valori DICE di 0,54 e 0,34, rispettivamente.
Video 1: Creazione guidata SmartPencil nel programma software di mascheramento. Una dimostrazione di annotazione di più pixel per il mascheramento del bulbo oculare. Le attività di mascheramento sono abilitate con un clic sui super pixel raggruppati. Clicca qui per scaricare questo video.
Video 2: Procedura guidata SmartFill nel programma software di mascheramento. Una dimostrazione di annotazione di più pixel per il mascheramento del bulbo oculare. Dopo aver selezionato alcuni pixel nell'area di annotazione, questa funzione genera maschere di segmentazione complete con intensità simili ai pixel selezionati. Clicca qui per scaricare questo video.
Video 3: Correzione automatica nel programma software di mascheramento. Una dimostrazione della correzione automatica di un pixel mascherato utilizzando un algoritmo di rete neurale convoluzionale pre-addestrato. Clicca qui per scaricare questo video.
Tabella supplementare 1: Ambiente di runtime (RTE) di mascheramento, pre-elaborazione e modellazione di segmentazione. Clicca qui per scaricare questa tabella.
Discussion
L'analisi delle immagini mediche basata sul deep learning è ampiamente utilizzata per il rilevamento delle malattie. Nel dominio oftalmologico, i modelli di rilevamento e segmentazione sono utilizzati nella retinopatia diabetica, nel glaucoma, nella degenerazione maculare legata all'età e nella retinopatia della prematurità. Tuttavia, altre malattie rare oltre a quelle in oftalmologia non sono state studiate a causa dell'accesso limitato a grandi set di dati pubblici aperti per l'analisi del deep learning. Quando si applica questo metodo in situazioni in cui non è disponibile alcun set di dati pubblico, la fase di mascheramento, che è un'attività laboriosa e dispendiosa in termini di tempo, è inevitabile. Tuttavia, la fase di mascheramento proposta (sezione protocollo, fase 1) aiuta a generare mascheramento con elevata precisione in breve tempo. Utilizzando i super pixel e il riempimento basato su rete neurale, che raggruppano pixel simili nelle proprietà dell'immagine di basso livello, i medici possono etichettare le maschere facendo clic sui gruppi di pixel invece di indicare i pixel specifici. Inoltre, le funzioni di correzione automatica aiutano a perfezionare i processi della maschera. L'efficienza e l'efficacia di questo metodo contribuiranno a generare più immagini mascherate nella ricerca medica.
Tra le molte possibilità di pre-elaborazione, l'estrazione di VOI e il ritaglio di finestre sono metodi efficaci. Qui, l'estrazione di VOI e il ritaglio di finestra sono introdotti nel passaggio 2 del protocollo. Quando i medici preparano il set di dati, l'estrazione del VOI dal set di dati è il passo più importante nel processo perché la maggior parte dei casi di segmentazione si concentra su regioni piccole e specifiche nell'intera immagine medica. Per quanto riguarda i VOI, le regioni del bulbo oculare, del nervo ottico e dei muscoli extraoculari sono ritagliate in base alla posizione, ma metodi più efficaci per estrarre i VOIs hanno il potenziale per migliorare le prestazioni di segmentazione14.
Per la segmentazione, SEQ-UNET è impiegato nello studio. Le immagini mediche 3D hanno grandi volumi, quindi i modelli di reti neurali profonde richiedono grandi capacità di memoria. In SEQ-UNET, il modello di segmentazione è implementato con un piccolo numero di sezioni per ridurre la dimensione della memoria richiesta senza perdere le caratteristiche delle informazioni 3D.
Il modello è stato addestrato con 46 VOI, che non è un numero elevato per l'addestramento del modello. A causa del piccolo numero di set di dati di allenamento, le prestazioni del nervo ottico e della segmentazione del muscolo extraoculare sono limitate. Transfer learning15 e domain adaptation8 potrebbero fornire una soluzione per migliorare le prestazioni di segmentazione.
L'intero processo di segmentazione qui introdotto non è limitato alla segmentazione TC orbitale. L'efficiente metodo di etichettatura aiuta a creare un nuovo set di dati di immagini mediche per quando il dominio dell'applicazione è univoco per l'area di ricerca. I codici python di GitHub relativi alla modellazione di pre-elaborazione e segmentazione possono essere applicati ad altri domini con la modifica della regione di ritaglio, del livello di ritaglio della finestra e degli iperparametri del modello, come il numero di sezioni sequenziali, le architetture U-Net e così via.
Disclosures
Gli autori non dichiarano conflitti di interesse.
Acknowledgments
Questo lavoro è stato sostenuto dalla National Research Foundation of Korea (NRF), sovvenzione finanziata dal Ministero della Scienza e delle ICT della Corea (MSIT) (numero: 2020R1C1C1010079). Per il set di dati CMC-ORBIT, l'Institutional Review Board (IRB) centrale del Catholic Medical Center ha fornito l'approvazione (XC19REGI0076). Questo lavoro è stato sostenuto dal 2022 Hongik University Research Fund.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al.
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
