Summary
En objektsegmenteringsprotokol til orbital computertomografi (CT) billeder introduceres. Metoderne til mærkning af jordens sandhed om orbitalstrukturer ved hjælp af superopløsning, udtrækning af mængden af interesse fra CT-billeder og modellering af multi-label segmentering ved hjælp af 2D sekventiel U-Net til orbitale CT-billeder forklares til overvåget læring.
Abstract
For nylig er deep learning-baserede segmenteringsmodeller blevet anvendt bredt inden for oftalmisk felt. Denne undersøgelse præsenterer den komplette proces med at konstruere en orbital computertomografi (CT) segmenteringsmodel baseret på U-Net. For overvåget læring kræves en arbejdskrævende og tidskrævende proces. Metoden til mærkning med superopløsning for effektivt at maskere jordsandheden på orbitale CT-billeder introduceres. Mængden af interesse beskæres også som en del af forbehandlingen af datasættet. Derefter, efter at have udtrukket de interessante mængder af orbitalstrukturerne, konstrueres modellen til segmentering af nøglestrukturerne i orbital CT ved hjælp af U-Net med sekventielle 2D-skiver, der bruges som input og to tovejs konvolutionelle langsigtede korte minder til bevarelse af krydsskivekorrelationerne. Denne undersøgelse fokuserer primært på segmentering af øjeæble, synsnerve og ekstraokulære muskler. Evalueringen af segmenteringen afslører den potentielle anvendelse af segmentering på orbitale CT-billeder ved hjælp af dybe læringsmetoder.
Introduction
Banen er et lille og kompliceret rum på ca. 30,1 cm3 , der indeholder vigtige strukturer som øjeæble, nerver, ekstraokulære muskler, støttende væv og kar til syns- og øjeæblebevægelser1. Orbitale tumorer er unormale vævsvækst i kredsløbet, og nogle af dem truer patienternes syn eller øjeæblebevægelse, hvilket kan føre til dødelig dysfunktion. For at bevare patienternes visuelle funktion skal klinikere beslutte sig for behandlingsmetoderne baseret på tumoregenskaberne, og en kirurgisk biopsi er generelt uundgåelig. Dette kompakte og overfyldte område gør det ofte udfordrende for klinikere at udføre en biopsi uden at skade den normale struktur. Den dybe læringsbaserede billedanalyse af patologi til bestemmelse af kredsløbets tilstand kan hjælpe med at undgå unødvendig eller undgåelig skade på orbitalvævene under biopsi2. En metode til billedanalyse for orbitale tumorer er tumordetektion og segmentering. Indsamlingen af store mængder data for CT-billeder, der indeholder orbitale tumorer, er imidlertid begrænset på grund af deres lave forekomst3. Den anden effektive metode til beregningsmæssig tumordiagnose4 indebærer sammenligning af tumoren med de normale strukturer i kredsløbet. Antallet af orbitale CT-billeder i normale strukturer er relativt større end i tumorer. Derfor er segmenteringen af normale orbitalstrukturer det første skridt for at nå dette mål.
Denne undersøgelse præsenterer hele processen med dyb læringsbaseret orbital struktursegmentering, herunder dataindsamling, forbehandling og efterfølgende modellering. Undersøgelsen er beregnet til at være en ressource for klinikere, der er interesserede i at bruge den nuværende metode til effektivt at generere et maskeret datasæt og for øjenlæger, der kræver information om forbehandling og modellering til orbitale CT-billeder. Denne artikel præsenterer en ny metode til orbital struktursegmentering og sekventiel U-Net, en sekventiel 2D-segmenteringsmodel baseret på en repræsentativ dyb læringsløsning i U-Net til medicinsk billedsegmentering. Protokollen beskriver den detaljerede procedure for kredsløbssegmentering, herunder (1) hvordan man bruger et maskeringsværktøj til jordsandheden om orbitstruktursegmentering, (2) de trin, der kræves til forbehandling af orbitalbillederne, og (3) hvordan man træner segmenteringsmodellen og evaluerer segmenteringsydelsen.
For overvåget læring kommenterede fire erfarne øjenlæger, der havde været bestyrelsescertificeret i over 5 år, manuelt maskerne i øjet, synsnerven og ekstraokulære muskler. Alle øjenlæger brugte maskeringssoftwareprogrammet (MediLabel, se materialetabellen), som bruger superopløsning til effektiv maskering på CT-scanninger. Maskeringssoftwaren har følgende halvautomatiske funktioner: (1) SmartPencil, som genererer superpixelkortklynger med lignende værdier af billedintensitet5; (2) SmartFill, som genererer segmenteringsmasker ved at beregne energifunktionen i den igangværende forgrund og baggrund 6,7; og (3) Autokorrektion, som gør grænserne for segmenteringsmaskerne rene og i overensstemmelse med det originale billede. Eksempler på billeder af de halvautomatiske funktioner er vist i figur 1. De detaljerede trin for manuel maskering findes i protokolafsnittet (trin 1).
Det næste trin er forbehandlingen af orbitale CT-scanninger. For at opnå de orbitale mængder af interesse (VOI'er) identificeres de områder af kredsløbet, hvor øjet, musklerne og nerven er placeret under normale forhold, og disse områder beskæres. Datasættet har en høj opløsning med <1 mm voxelopløsning i plan og skivetykkelse, så interpolationsprocessen springes over. I stedet udføres vinduesklipning på 48 HU-klipningsniveauet og 400 HU-vinduet. Efter beskæring og vinduesklipning genereres tre serielle skiver af kredsløbs-VOI'erne til segmenteringsmodellens input8. Protokolafsnittet (trin 2) indeholder oplysninger om forbehandlingstrinnene.
U-Net9 er en meget anvendt segmenteringsmodel til medicinske billeder. U-Net-arkitekturen består af en encoder, der udtrækker funktionerne i de medicinske billeder, og en dekoder, der præsenterer de diskriminerende træk semantisk. Ved anvendelse af U-Net til CT-scanninger består de konvolutionelle lag af 3D-filtre10,11. Dette er en udfordring, fordi beregningen af 3D-filtre kræver en stor hukommelseskapacitet. For at reducere hukommelseskravene til 3D U-Net blev SEQ-UNET8, hvor et sæt sekventielle 2D-skiver anvendes i U-Net, foreslået. For at forhindre tab af spatiotemporale korrelationer mellem 2D-billedskiverne i 3D CT-scanningen anvendes to tovejs konvolutionelle langsigtede korte hukommelser (C-LSTM'er)12 i grundlæggende U-Net. Den første tovejs C-LSTM ekstraherer inter-skivekorrelationerne i slutningen af koderen. Den anden tovejs C-LSTM, efter dekoderens output, omdanner den semantiske segmenteringsinformation i dimensionerne af skivesekvensen til en enkelt billedsegmentering. Arkitekturen i SEQ-UNET er vist i figur 2. Implementeringskoderne er tilgængelige på github.com/SleepyChild1005/OrbitSeg, og brugen af koderne er beskrevet i protokolafsnittet (trin 3).
Protocol
Det nuværende arbejde blev udført med godkendelse fra Institutional Review Board (IRB) i Catholic Medical Center, og privatlivets fred, fortrolighed og sikkerhed for sundhedsoplysningerne blev beskyttet. De orbitale CT-data blev indsamlet (fra afidentificerede mennesker) fra hospitaler tilknyttet College of Medicine, Catholic University of Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital og St. Vincent Hospital). De orbitale CT-scanninger blev opnået fra januar 2016 til december 2020. Datasættet indeholdt 46 orbitale CT-scanninger fra koreanske mænd og kvinder i alderen fra 20 år til 60 år. Runtime-miljøet (RTE) er opsummeret i supplerende tabel 1.
1. Maskering af øjeæble, synsnerve og ekstraokulære muskler på orbitale CT-scanninger
- Kør maskeringssoftwareprogrammet.
BEMÆRK: Maskeringssoftwareprogrammet (MediLabel, se materialetabellen) er et medicinsk billedmærkningssoftwareprogram til segmentering, som kræver få klik og har høj hastighed. - Indlæs orbital CT ved at klikke på ikonet for åben fil og vælge mål-CT-filen. Derefter vises CT-scanningerne på skærmen.
- Masker øjeæblet, synsnerven og ekstraokulære muskler ved hjælp af superpixels.
- Kør SmartPencil ved at klikke på SmartPencil-guiden i MediLabel (Video 1).
- Kontroller om nødvendigt opløsningen på superpixelkortet (f.eks. 100, 500, 1.000 og 2.000 superpixels).
- Klik på klyngen af superpixels i øjeæblet, synsnerven og ekstraokulære muskler på superpixelkortet, hvor pixels med lignende billedintensitetsværdier er grupperet.
- Forfin maskerne med autokorrektionsfunktionerne i MediLabel.
- Klik på SmartFill-guiden efter maskering af nogle af superpixels på skiverne (Video 2).
- Klik på ikonet Autokorrektion , og sørg for, at de korrigerede maskeetiketter beregnes (Video 3).
- Gentag trin 1.3 og trin 1.4, indtil forfiningen af maskeringen er fuldført.
- Gem de maskerede billeder.
2. Forbehandling: Vinduesklipning og beskæring af VOI'erne
- Udpak VOI'erne med preprocessing_multilabel.py (filen kan downloades fra GitHub).
- Kør preprocessing_multilabel.py.
- Kontroller scanninger og masker, som beskæres og gemmes i mappen VOI'er.
- Transformer VOI'erne til sættet med tre sekventielle CT-udsnit til input til SEQ-UNET med builder_multilabel.py (filen kan downloades fra GitHub).
- Kør sequence_builder_multilabel.py.
- Sørg for, at størrelsen på udsnit og masker ændres til 64 pixel gange 64 pixel under transformationen.
- Under transformationen skal du udføre klipning med 48 HU-klipningsniveauet og 400 HU-vinduet.
- Kontroller de gemte transformerede CT-scanninger (nii-fil) og masker (nii-fil) i henholdsvis scanningsmappen og maskemappen under forbehandlede mapper.
3. Fire krydsvalideringer af orbitalsegmenteringsmodellen
- Byg modellen ved at følge nedenstående trin.
- Kør main.py.
- Når du kører main.py, skal du angive foldnummeret på de fire krydsvalideringer med "-fold num x", hvor x er 0, 1, 2 eller 3.
- Når du kører main.py, skal du bruge epoken, som er antallet af træningsgentagelser, som en mulighed, såsom "-epoke x", hvor x er epokenummeret. Standardnummeret er 500.
- Når du kører main.py, skal du indstille batchstørrelsen, som er antallet af træningsprøver i et enkelt træningspas. Standardnummeret er 32.
- I main.py skal du indlæse CT-scanninger og masker og initialisere SEQ-UNET med de forudtrænede parametre ved hjælp af LIDC-IDRI-datasættet (kan downloades fra kræftbilleddannelsesarkivet).
- I main.py skal du udføre testen af modellen efter træning. Beregn evalueringsmålingerne, terningscoren og volumenligheden, og gem dem i mappen metrics.
- Kontroller resultaterne i den segmenterede mappe.
Representative Results
Til den kvantitative evaluering blev der vedtaget to evalueringsmålinger, som blev brugt i CT-billedsegmenteringsopgaven. Disse var to lighedsmålinger, herunder terningscore (DICE) og volumenlighed (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN - FP |/(2 × TP + FP + FN)
hvor TP, FP og FN angiver henholdsvis de sande positive, falske positive og falske negative værdier, når segmenteringsresultatet og segmenteringsmasken er angivet.
Udførelsen af SEQ-UNET til orbital struktursegmentering blev evalueret ved fire krydsvalideringer. Resultaterne fremgår af tabel 1. Øjeæblesegmenteringen ved hjælp af SEQ-UNET opnåede en terningscore på 0,86 og en VS på 0,83. Segmenteringen af de ekstraokulære muskler og synsnerven opnåede lave terningscorer (henholdsvis 0,54 og 0,34). Terningscoren for øjeæblesegmenteringen var over 80%, fordi den havde en stor del af VOI'erne og lidt heterogenitet mellem CT-scanninger. Terningscorerne for de ekstraokulære muskler og synsnerven var relativt lave, fordi de sjældent optrådte i CT-volumen og blev fundet i et relativt lille antal CT-skiver. Imidlertid var de visuelle lighedsscorer for de ekstraokulære muskler og synsnerven (henholdsvis 0,65 og 0,80) højere end deres terningscore. Dette resultat indikerer, at specificiteten af segmentering var lav. Samlet set var terningscoren og den visuelle lighed mellem SEQ-UNET for segmentering af alle orbitale understrukturer henholdsvis 0,79 og 0,82. Eksempler på de visuelle resultater af orbital struktur segmentering er vist i figur 3. I figur 3A-C er blå det forudsagte segmenteringsresultat, og rød er grundsandhedsmasken. I figur 3D er rød, grøn og orange henholdsvis øjeæble, synsmuskel og nervesegmentering.
Figur 1: Halvautomatiske maskeringsfunktioner. Maskering af øjeæble, ekstraokulære muskler og synsnerve på orbitale CT-scanninger ved hjælp af (A) SmartPencil, (B) SmartFill og (C) Autokorrektion. Øjeæblets maske er mærket af SmartPencil, som beregner superpixels af skiverne, og masken er lavet ved at klikke på superpixels. Efter at have klikket på nogle af eyeball super pixels, kan hele øjeæblemasken beregnes af SmartFill. I tilfælde af maskering af synsnerven foretages maskeringsforfiningen af AutoCorrection. Blå farve mærkede øjenkugler er vist i (A) og (B). Klik her for at se en større version af denne figur.
Figur 2: SEQ U-Net arkitektur. Sekventielle 2D-skiver som input og output; to tovejs C-LSTM'er anvendes til slutningen af kodnings- og afkodningsblokkene baseret på U-Net-arkitekturen. Klik her for at se en større version af denne figur.
Figur 3: Segmenteringsresultater af orbitalstrukturerne. (A) Øjeæble (etiket 1), (B) optisk muskel (etiket 2), (C) optisk nerve (etiket 3) og (D) multi-label (etiket 1, 2 og 3). Det venstre billede er banens VOI, midterbilledet er den forudsagte segmentering, og det højre billede er grundsandheden. I (A), (B) og (C) er blå det forudsagte segmenteringsresultat, og rødt er grundsandhedsmasken. I (D) er rød, grøn og orange henholdsvis øjet, ekstraokulær muskel og optisk nervesegmentering. Den forudsagte segmentering viste høj ydeevne (DICE: 0,86 vs. 0,82) i tilfælde af øjeæblet, men lav ydeevne i tilfælde afextraokulær muskel (DICE: 0,54 vs. 0,65) og optisk nerve (DICE: 0,34 vs. 0,8). Klik her for at se en større version af denne figur.
| Multi-label | Etiket 1 (øjeæble) | Etiket 2 (Ekstraokulær muskel) | Etiket 3 (synsnerve) | |||||
| TERNINGER | VS | TERNINGER | VS | TERNINGER | VS | TERNINGER | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabel 1: Segmenteringsresultater for terningescore og visuel lighed. Øjeæblet, som har et relativt stort antal skiver, blev segmenteret godt med en DICE på 0,8, men den ekstraokulære muskel og synsnerve, som har et lille antal skiver og linjeform, blev delvist segmenteret med DICE-værdier på henholdsvis 0,54 og 0,34.
Video 1: SmartPencil-guiden i maskeringssoftwareprogrammet. En demonstration af annotering af flere pixels til maskering af øjeæbler. Maskeringsopgaverne aktiveres med et enkelt klik på grupperede superpixels. Klik her for at downloade denne video.
Video 2: Guiden SmartFill i programmet til maskeringssoftware. En demonstration af annotering af flere pixels til maskering af øjeæbler. Når du har valgt nogle pixel i annoteringsområdet, genererer denne funktion fulde segmenteringsmasker med samme intensitet som de valgte pixel. Klik her for at downloade denne video.
Video 3: Autokorrektion i maskeringssoftwareprogrammet. En demonstration af den automatiske korrektion af en maskeret pixel ved hjælp af en forudtrænet konvolutionel neural netværksalgoritme. Klik her for at downloade denne video.
Supplerende tabel 1: Runtime-miljø (RTE) for maskering, forbehandling og segmenteringsmodellering. Klik her for at downloade denne tabel.
Discussion
Deep learning-baseret medicinsk billedanalyse bruges i vid udstrækning til sygdomsdetektion. I oftalmologidomænet anvendes detektions- og segmenteringsmodeller i diabetisk retinopati, glaukom, aldersrelateret makuladegeneration og præmatur retinopati. Andre sjældne sygdomme end dem i oftalmologi er imidlertid ikke blevet undersøgt på grund af den begrænsede adgang til store åbne offentlige datasæt til dyb læringsanalyse. Når du anvender denne metode i situationer, hvor der ikke er noget offentligt datasæt tilgængeligt, er maskeringstrinnet, som er en arbejdskrævende og tidskrævende opgave, uundgåeligt. Det foreslåede maskeringstrin (protokolafsnit, trin 1) hjælper dog med at generere maskering med høj nøjagtighed inden for kort tid. Ved hjælp af superpixels og neurale netværksbaseret udfyldning, som klyngepixels, der ligner hinanden i billedegenskaber på lavt niveau, kan klinikere mærke maskerne ved at klikke på grupperne af pixels i stedet for at påpege de specifikke pixels. De automatiske korrektionsfunktioner hjælper også med at forfine maskeprocesserne. Denne metodes effektivitet og effektivitet vil hjælpe med at generere flere maskerede billeder i medicinsk forskning.
Blandt de mange muligheder inden for forbehandling er udtrækning af VOI'er og vinduesklipning effektive metoder. Her introduceres udpakning af VOI'er og vinduesklipning i trin 2 i protokollen. Når klinikerne forbereder datasættet, er udtrækning af VOI fra det givne datasæt det vigtigste trin i processen, fordi de fleste segmenteringssager fokuserer på små og specifikke regioner i hele det medicinske billede. Med hensyn til VOI'erne beskæres regionerne i øjeæblet, synsnerven og ekstraokulære muskler baseret på placeringen, men mere effektive metoder til ekstraktion af VOI'er har potentialet til at forbedre segmenteringsydelsen14.
Til segmenteringen anvendes SEQ-UNET i undersøgelsen. De medicinske 3D-billeder har store mængder, så dybe neurale netværksmodeller kræver stor hukommelseskapacitet. I SEQ-UNET implementeres segmenteringsmodellen med et lille antal skiver for at reducere den krævede hukommelsesstørrelse uden at miste funktionerne i 3D-informationen.
Modellen blev trænet med 46 VOI'er, hvilket ikke er et stort antal til modeltræning. På grund af det lille antal træningsdatasæt er udførelsen af optisk nerve og ekstraokulær muskelsegmentering begrænset. Transfer learning15 og domænetilpasning8 kan være en løsning til forbedring af segmenteringsydeevnen.
Hele segmenteringsprocessen, der introduceres her, er ikke begrænset til orbital CT-segmentering. Den effektive mærkningsmetode hjælper med at oprette et nyt medicinsk billeddatasæt til, når applikationsdomænet er unikt for forskningsområdet. Python-koderne i GitHub vedrørende forbehandling og segmenteringsmodellering kan anvendes på andre domæner med ændring af beskæringsområdet, vinduesklipningsniveauet og modelhyperparametrene, såsom antallet af sekventielle skiver, U-Net-arkitekturerne osv.
Disclosures
Forfatterne erklærer ingen interessekonflikter.
Acknowledgments
Dette arbejde blev støttet af National Research Foundation of Korea (NRF), tilskud finansieret af Koreas ministerium for videnskab og IKT (MSIT) (nummer: 2020R1C1C1010079). For CMC-ORBIT-datasættet gav det centrale Institutional Review Board (IRB) i Catholic Medical Center godkendelse (XC19REGI0076). Dette arbejde blev støttet af 2022 Hongik University Research Fund.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al.
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
