Summary
En objektsegmenteringsprotokoll for orbital computertomografi (CT) bilder blir introdusert. Metodene for å merke bakken sannheten av orbitale strukturer ved hjelp av superoppløsning, trekke ut volumet av interesse fra CT-bilder, og modellering multi-label segmentering ved hjelp av 2D sekvensielle U-Net for orbital CT bilder er forklart for overvåket læring.
Abstract
Nylig har dype læringsbaserte segmenteringsmodeller blitt mye brukt i oftalmisk felt. Denne studien presenterer den komplette prosessen med å konstruere en orbital computertomografi (CT) segmenteringsmodell basert på U-Net. For veiledet læring er det nødvendig med en arbeidsintensiv og tidkrevende prosess. Metoden for merking med superoppløsning for effektivt å maskere bakken sannheten på orbitale CT-bilder er introdusert. Volumet av interesse beskjæres også som en del av forhåndsbehandlingen av datasettet. Deretter, etter å ha trukket ut volumene av interesse for orbitalstrukturene, er modellen for å segmentere nøkkelstrukturene til orbital CT konstruert ved hjelp av U-Net, med sekvensielle 2D-skiver som brukes som innganger og to toveis konvolusjonelle langsiktige korte minner for å bevare inter-slice-korrelasjonene. Denne studien fokuserer primært på segmentering av øyebollet, optisk nerve og ekstraokulære muskler. Evalueringen av segmenteringen avslører potensiell anvendelse av segmentering til orbitale CT-bilder ved hjelp av dype læringsmetoder.
Introduction
Banen er et lite og komplisert rom på ca. 30,1 cm3 som inneholder viktige strukturer som øyeeplet, nerver, ekstraokulære muskler, støttende vev og kar for syn og øyebollbevegelser1. Orbitale svulster er unormale vevsvekst i bane, og noen av dem truer pasientens syn eller øyebollbevegelse, noe som kan føre til dødelig dysfunksjon. For å bevare pasientens visuelle funksjon, må klinikere bestemme behandlingsmodaliteter basert på tumoregenskapene, og en kirurgisk biopsi er generelt uunngåelig. Dette kompakte og overfylte området gjør det ofte utfordrende for klinikere å utføre en biopsi uten å skade den normale strukturen. Den dype læringsbaserte bildeanalysen av patologi for å bestemme banetilstanden kan bidra til å unngå unødvendig eller unngåelig skade på orbitalvevet under biopsi2. En metode for bildeanalyse for orbitale svulster er tumordeteksjon og segmentering. Innsamlingen av store mengder data for CT-bilder som inneholder orbitale svulster er imidlertid begrenset på grunn av denlave forekomsten 3. Den andre effektive metoden for beregningsorientert tumordiagnose4 innebærer å sammenligne svulsten med de normale strukturer i bane. Antall orbitale CT-bilder i normale strukturer er relativt større enn i svulster. Derfor er segmentering av normale orbitale strukturer det første skrittet for å nå dette målet.
Denne studien presenterer hele prosessen med dyp læringsbasert orbitalstruktursegmentering, inkludert datainnsamling, forbehandling og påfølgende modellering. Studien er ment å være en ressurs for klinikere som er interessert i å bruke dagens metode for effektivt å generere et maskert datasett og for øyeleger som krever informasjon om forbehandling og modellering for orbitale CT-bilder. Denne artikkelen presenterer en ny metode for orbital struktursegmentering og sekvensiell U-Net, en sekvensiell 2D-segmenteringsmodell basert på en representativ dyplæringsløsning i U-Net for medisinsk bildesegmentering. Protokollen beskriver den detaljerte prosedyren for banesegmentering, inkludert (1) hvordan du bruker et maskeringsverktøy for grunnsannheten for banestruktursegmentering, (2) trinnene som kreves for forbehandling av banebildene, og (3) hvordan man trener segmenteringsmodellen og evaluerer segmenteringsytelsen.
For veiledet læring kommenterte fire erfarne oftalmologer som hadde vært styresertifisert i over 5 år manuelt maskene til øyebollet, optisk nerve og ekstraokulære muskler. Alle oftalmologene brukte maskeringsprogrammet (MediLabel, se materialtabellen), som bruker superoppløsning for effektiv maskering på CT-skanninger. Maskeringsprogramvaren har følgende halvautomatiske funksjoner: (1) SmartPencil, som genererer superpikselkartklynger med lignende verdier av bildeintensitet5; (2) SmartFill, som genererer segmenteringsmasker ved å beregne energifunksjonen til den pågående forgrunnen og bakgrunnen 6,7; og (3) Autokorreksjon, som gjør kantene til segmenteringsmaskene rene og konsistente med det opprinnelige bildet. Eksempelbilder av de halvautomatiske funksjonene er vist i figur 1. De detaljerte trinnene for manuell maskering er gitt i protokolldelen (trinn 1).
Det neste trinnet er forbehandlingen av CT-skanningene i bane. For å oppnå orbitale volumer av interesse (VOI), identifiseres områdene i bane hvor øyebollet, muskelen og nerven befinner seg under normale forhold, og disse områdene beskjæres. Datasettet har høy oppløsning, med <1 mm in-plane voxeloppløsning og skivetykkelse, slik at interpoleringsprosessen hoppes over. I stedet utføres vindusklipping på 48 HU-klippenivå og 400 HU-vinduet. Etter beskjæring og vindusklipping genereres tre serielle skiver av bane-VOI-ene for segmenteringsmodellinngangen8. Protokolldelen (trinn 2) gir detaljer om trinnene for forhåndsbehandling.
U-Net9 er en mye brukt segmenteringsmodell for medisinske bilder. U-Net-arkitekturen består av en koder, som trekker ut funksjonene til de medisinske bildene, og en dekoder, som presenterer de diskriminerende funksjonene semantisk. Når du bruker U-Net for CT-skanninger, består de konvolusjonelle lagene av 3D-filtre10,11. Dette er en utfordring fordi beregning av 3D-filtre krever stor minnekapasitet. For å redusere minnekravene for 3D U-Net, ble SEQ-UNET8, hvor et sett med sekvensielle 2D-skiver brukes i U-Net, foreslått. For å forhindre tap av spatiotemporale korrelasjoner mellom 2D-bildeskivene i 3D CT-skanningen, brukes to toveis konvolusjonelle langsiktige korte minner (C-LSTM)12 i grunnleggende U-Net. Den første toveis C-LSTM trekker ut inter-skivekorrelasjonene på slutten av koderen. Den andre toveis C-LSTM, etter utdataene fra dekoderen, forvandler den semantiske segmenteringsinformasjonen i dimensjonene til skivesekvensen til en enkelt bildesegmentering. Arkitekturen til SEQ-UNET er vist i figur 2. Implementeringskodene er tilgjengelige på github.com/SleepyChild1005/OrbitSeg, og bruken av kodene er detaljert i protokolldelen (trinn 3).
Protocol
Det nåværende arbeidet ble utført med godkjenning fra Institutional Review Board (IRB) fra Catholic Medical Center, og personvernet, konfidensialiteten og sikkerheten til helseinformasjonen ble beskyttet. CT-dataene i bane ble samlet inn (fra avidentifiserte personer) fra sykehus tilknyttet College of Medicine, Catholic University of Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital og St. Vincent Hospital). CT-skanningene i bane ble oppnådd fra januar 2016 til desember 2020. Datasettet inneholdt 46 orbitale CT-skanninger fra koreanske menn og kvinner i alderen fra 20 år til 60 år. Kjøretidsmiljøet (RTE) er oppsummert i tilleggstabell 1.
1. Maskering av øyebollet, optisk nerve og ekstraokulære muskler på orbitale CT-skanninger
- Kjør maskeringsprogrammet.
MERK: Maskeringsprogrammet (MediLabel, se materialtabellen) er et medisinsk bildemerkingsprogram for segmentering, som krever få klikk og har høy hastighet. - Last inn CT-en i bane ved å klikke på det åpne filikonet og velge CT-målfilen. Deretter vises CT-skanningene på skjermen.
- Masker øyebollet, optisk nerve og ekstraokulære muskler ved hjelp av superpiksler.
- Kjør SmartPencil ved å klikke på SmartPencil-veiviseren i MediLabel (Video 1).
- Kontroller oppløsningen på superpikselkartet om nødvendig (f.eks. 100, 500, 1 000 og 2 000 superpiksler).
- Klikk på klyngen av superpiksler i øyeeplet, optisk nerve og ekstraokulære muskler på superpikselkartet, der piksler med lignende bildeintensitetsverdier er gruppert.
- Avgrens maskene med autokorrigeringsfunksjonene i MediLabel.
- Klikk på SmartFill-veiviseren etter å ha maskert noen av superpikslene på skivene (Video 2).
- Klikk på Autokorrigering-ikonet , og sørg for at de korrigerte maskeetikettene er beregnet (Video 3).
- Gjenta trinn 1.3 og trinn 1.4 til forbedringen av maskeringen er fullført.
- Lagre de maskerte bildene.
2. Forbehandling: Vindusklipping og beskjæring av VOI-ene
- Pakk ut VOIene med preprocessing_multilabel.py (filen kan lastes ned fra GitHub).
- Kjør preprocessing_multilabel.py.
- Kontroller skanningene og maskene, som beskjæres og lagres i VOIs-mappen.
- Transformer VOIene til settet med tre sekvensielle CT-stykker for inndata til SEQ-UNET med builder_multilabel.py (filen kan lastes ned fra GitHub).
- Kjør sequence_builder_multilabel.py.
- Kontroller at størrelsen på stykkene og maskene endres til 64 x 64 bildepunkter under transformasjonen.
- Under transformasjonen, utfør klipping med 48 HU-klippenivået og 400 HU-vinduet.
- Kontroller de lagrede transformerte CT-skanningene (nii-fil) og masker (nii-fil) i henholdsvis skannemappen og maskemappen under forhåndsbehandlede mapper.
3. Fire kryssvalideringer av orbitalsegmenteringsmodellen
- Bygg modellen ved å følge trinnene nedenfor.
- Kjør main.py.
- Når du kjører main.py, gir du foldetallet for de fire kryssvalideringene med "-fold num x", der x er 0, 1, 2 eller 3.
- Når du kjører main.py, bruk epoken, som er antall treningsiterasjoner, som et alternativ, for eksempel "-epoke x", der x er epoketallet. Standardnummeret er 500.
- Når du kjører main.py, angir du gruppestørrelsen, som er antall treningseksempler i én enkelt treningsøkt. Standardnummeret er 32.
- I main.py laster du inn CT-skanningene og maskene, og initialiserer SEQ-UNET med de forhåndsopplærte parametrene ved hjelp av LIDC-IDRI-datasettet (kan lastes ned fra kreftbildearkivet).
- I main.py, utfør testingen av modellen etter trening. Beregn evalueringsberegningene, terningpoengsummen og volumlikheten, og lagre dem i beregningsmappen.
- Sjekk resultatene i den segmenterte mappen.
Representative Results
For den kvantitative evalueringen ble det vedtatt to evalueringsberegninger, som ble brukt i CT-bildesegmenteringsoppgaven. Dette var to likhetsmål, inkludert terningscore (DICE) og volumlikhet (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
der TP, FP og FN angir henholdsvis verdiene true positive, false positive og false negative når segmenteringsresultatet og segmenteringsmasken er gitt.
Ytelsen til SEQ-UNET for orbital struktursegmentering ble evaluert av fire kryssvalideringer. Resultatene er vist i tabell 1. Øyeeplet segmentering ved hjelp av SEQ-UNET oppnådd en terning score på 0,86 og en VS på 0,83. Segmenteringen av de ekstraokulære musklene og optisk nerve oppnådde lave terningpoeng (henholdsvis 0,54 og 0,34). Terningen score på øyeeplet segmentering var over 80% fordi den hadde en stor del av VOIs og liten heterogenitet mellom CT skanner. Terningskårene til de ekstraokulære musklene og synsnerven var relativt lave fordi de sjelden dukket opp i CT-volumet og ble funnet i et relativt lite antall av CT-skivene. Imidlertid var de visuelle likhetspoengene til de ekstraokulære musklene og optisk nerve (henholdsvis 0,65 og 0,80) høyere enn terningskårene. Dette resultatet indikerer at spesifisiteten til segmentering var lav. Samlet sett var terningscore og visuell likhet av SEQ-UNET for segmentering av alle orbitale understrukturer henholdsvis 0,79 og 0,82. Eksempler på de visuelle resultatene av orbital struktursegmentering er vist i figur 3. I figur 3A-C er blått det forutsagte segmenteringsresultatet, og rødt er bakken sannhetsmaske. I figur 3D er rød, grønn og oransje henholdsvis øyeeplet, optisk muskel og nervesegmentering.
Figur 1: Halvautomatiske maskeringsfunksjoner. Maskering av øyeeplet, ekstraokulære muskler og optisk nerve på orbitale CT-skanninger ved hjelp av (A) SmartPencil, (B) SmartFill og (C) AutoCorrection. Masken på øyeeplet er merket av SmartPencil, som beregner superpikslene til skivene, og masken lages ved å klikke på superpikslene. Etter å ha klikket på noen av øyeeplets superpiksler, kan hele øyebollmasken beregnes av SmartFill. Ved maskering av optisk nerve, er maskeringsforbedringen laget av AutoCorrection. Blå farge merket øyeepler er vist i (A) og (B). Vennligst klikk her for å se en større versjon av denne figuren.
Figur 2: SEQ U-Net arkitektur. Sekvensielle 2D-skiver som inngang og utgang; to toveis C-LSTM-er brukes på slutten av kodings- og dekodingsblokkene basert på U-Net-arkitekturen. Vennligst klikk her for å se en større versjon av denne figuren.
Figur 3: Segmenteringsresultater av orbitalstrukturene. (A) Øyeeplet (etikett 1), (B) optisk muskel (etikett 2), (C) optisk nerve (etikett 3) og (D) multi-label (etikett 1, 2 og 3). Det venstre bildet er baneens VOI, senterbildet er den forutsagte segmenteringen, og det høyre bildet er bakkens sannhet. I (A), (B) og (C) er blått det forutsagte segmenteringsresultatet, og rødt er bakken sannhetsmaske. I (D) er rød, grønn og oransje øyebollet, henholdsvis ekstraokulær muskel og optisk nervesegmentering. Den forutsagte segmenteringen viste høy ytelse (DICE: 0,86 vs. 0,82) når det gjelder øyeeplet, men lav ytelse når det gjelder theextraokulær muskel (DICE: 0,54 vs. 0,65) og optisk nerve (DICE: 0,34 vs. 0,8). Vennligst klikk her for å se en større versjon av denne figuren.
| Flere etiketter | Etikett 1 (øyeeplet) | Etikett 2 (Ekstraokulær muskel) | Etikett 3 (Synsnerven) | |||||
| TERNING | VS | TERNING | VS | TERNING | VS | TERNING | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabell 1: Segmenteringsresultater for terningscore og visuell likhet. Øyebollet, som har et relativt stort antall skiver, ble segmentert godt med en DICE på 0,8, men den ekstraokulære muskelen og optisk nerve, som har små antall skiver og linjeform, ble delvis segmentert med DICE-verdier på henholdsvis 0,54 og 0,34.
Video 1: SmartPencil-veiviseren i maskeringsprogrammet. En demonstrasjon av å kommentere flere piksler for øyebollmaskering. Maskeringsoppgavene aktiveres med ett klikk på grupperte superpiksler. Vennligst klikk her for å laste ned denne videoen.
Video 2: SmartFill-veiviseren i maskeringsprogrammet. En demonstrasjon av å kommentere flere piksler for øyebollmaskering. Når du har valgt noen bildepunkter i merknadsområdet, genererer denne funksjonen fullstendige segmenteringsmasker med samme intensitet som de merkede bildepunktene. Vennligst klikk her for å laste ned denne videoen.
Video 3: Autokorreksjon i maskeringsprogrammet. En demonstrasjon av automatisk korreksjon av en maskert piksel ved hjelp av en forhåndstrent konvolusjonell nevrale nettverksalgoritme. Vennligst klikk her for å laste ned denne videoen.
Supplerende tabell 1: Kjøretidsmiljø (RTE) for maskering, forhåndsbehandling og segmenteringsmodellering. Klikk her for å laste ned denne tabellen.
Discussion
Dyp læringsbasert medisinsk bildeanalyse er mye brukt for sykdomsdeteksjon. I oftalmologidomenet brukes deteksjons- og segmenteringsmodeller i diabetisk retinopati, glaukom, aldersrelatert makuladegenerasjon og retinopati av prematuritet. Imidlertid har andre sjeldne sykdommer bortsett fra de i oftalmologi ikke blitt studert på grunn av begrenset tilgang til store åpne offentlige datasett for dyp læringsanalyse. Når du bruker denne metoden i situasjoner der ingen offentlige datasett er tilgjengelige, er maskeringstrinnet, som er en arbeidsintensiv og tidkrevende oppgave, uunngåelig. Det foreslåtte maskeringstrinnet (protokollseksjon, trinn 1) bidrar imidlertid til å generere maskering med høy nøyaktighet i løpet av kort tid. Ved hjelp av superpiksler og nevral nettverksbasert fylling, som klyngepiksler som ligner på bildeegenskaper på lavt nivå, kan klinikere merke maskene ved å klikke på gruppene med piksler i stedet for å peke på de spesifikke pikslene. De automatiske korreksjonsfunksjonene hjelper også med å avgrense maskeprosessene. Denne metodens effektivitet og effektivitet vil bidra til å generere flere maskerte bilder i medisinsk forskning.
Blant de mange mulighetene innen forbehandling er utvinning av VOIer og vindusklipping effektive metoder. Her introduseres utpakking av VOIer og vindusklipping i trinn 2 av protokollen. Når klinikerne klargjør datasettet, er uttrekking av VOI fra det gitte datasettet det viktigste trinnet i prosessen fordi de fleste segmenteringstilfeller fokuserer på små og spesifikke regioner i hele det medisinske bildet. Når det gjelder VOIene, beskjæres områdene i øyebollet, optisk nerve og ekstraokulære muskler basert på plasseringen, men mer effektive metoder for å trekke ut VOIer har potensial til å forbedre segmenteringsytelsen14.
For segmenteringen er SEQ-UNET ansatt i studien. De medisinske 3D-bildene har store volumer, så dype nevrale nettverksmodeller krever stor minnekapasitet. I SEQ-UNET implementeres segmenteringsmodellen med et lite antall skiver for å redusere den nødvendige minnestørrelsen uten å miste funksjonene i 3D-informasjonen.
Modellen ble trent med 46 VOIer, noe som ikke er et stort antall for modellopplæring. På grunn av det lille antallet treningsdatasett er ytelsen til optisk nerve og ekstraokulær muskelsegmentering begrenset. Transfer learning15 og domenetilpasning8 kan gi en løsning for å forbedre segmenteringsytelsen.
Hele segmenteringsprosessen introdusert her er ikke begrenset til orbital CT-segmentering. Den effektive merkingsmetoden bidrar til å opprette et nytt medisinsk bildedatasett for når applikasjonsdomenet er unikt for forskningsområdet. Python-kodene til GitHub angående forbehandlings- og segmenteringsmodellering kan brukes på andre domener med modifikasjon av beskjæringsområdet, vindusklippingsnivået og modellhyperparametrene, for eksempel antall sekvensielle skiver, U-Net-arkitekturene og så videre.
Disclosures
Forfatterne oppgir ingen interessekonflikter.
Acknowledgments
Dette arbeidet ble støttet av National Research Foundation of Korea (NRF), tilskudd finansiert av Ministry of Science and ICT of Korea (MSIT) (nummer: 2020R1C1C1010079). For CMC-ORBIT-datasettet ga det sentrale institusjonelle vurderingsstyret (IRB) fra det katolske medisinske senteret godkjenning (XC19REGI0076). Dette arbeidet ble støttet av 2022 Hongik University Research Fund.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
