Summary
Ett objektsegmenteringsprotokoll för orbital datortomografi (CT) -bilder introduceras. Metoderna för att märka grundsanningen för orbitalstrukturer genom att använda superupplösning, extrahera volymen av intresse från CT-bilder och modellera multietikettsegmentering med 2D-sekventiell U-Net för orbitala CT-bilder förklaras för övervakad inlärning.
Abstract
Nyligen har djupinlärningsbaserade segmenteringsmodeller tillämpats i stor utsträckning inom det oftalmiska området. Denna studie presenterar den fullständiga processen för att konstruera en orbital datortomografi (CT) segmenteringsmodell baserad på U-Net. För övervakat lärande krävs en arbetsintensiv och tidskrävande process. Metoden för märkning med superupplösning för att effektivt maskera grundsanningen på orbital CT-bilder introduceras. Dessutom beskärs volymen av intresse som en del av förbehandlingen av datauppsättningen. Sedan, efter att ha extraherat volymerna av intresse för orbitalstrukturerna, konstrueras modellen för segmentering av nyckelstrukturerna i orbital CT med U-Net, med sekventiella 2D-skivor som används som ingångar och två dubbelriktade faltningslånga korta minnen för att bevara inter-slice-korrelationerna. Denna studie fokuserar främst på segmentering av ögongloben, optisk nerv och extraokulära muskler. Utvärderingen av segmenteringen avslöjar den potentiella tillämpningen av segmentering på orbitala CT-bilder med hjälp av djupinlärningsmetoder.
Introduction
Banan är ett litet och komplicerat utrymme på cirka 30,1 cm3 som innehåller viktiga strukturer som ögongloben, nerver, extraokulära muskler, stödjande vävnader och kärl för syn och ögonglobsrörelser1. Orbitaltumörer är onormala vävnadstillväxter i banan, och några av dem hotar patienternas syn eller ögonglobsrörelse, vilket kan leda till dödlig dysfunktion. För att bevara patienternas visuella funktion måste kliniker besluta om behandlingsmetoderna baserat på tumöregenskaperna, och en kirurgisk biopsi är i allmänhet oundviklig. Detta kompakta och trånga område gör det ofta utmanande för kliniker att utföra en biopsi utan att skada den normala strukturen. Den djupinlärningsbaserade bildanalysen av patologi för att bestämma banans tillstånd kan hjälpa till att undvika onödig eller undvikbar skada på orbitalvävnaderna under biopsi2. En metod för bildanalys för orbitaltumörer är tumördetektering och segmentering. Insamlingen av stora mängder data för CT-bilder som innehåller orbitaltumörer är dock begränsad på grund av deras låga förekomst3. Den andra effektiva metoden för beräkningstumördiagnos4 innebär att man jämför tumören med de normala strukturerna i banan. Antalet orbitala CT-bilder i normala strukturer är relativt större än i tumörer. Därför är segmenteringen av normala orbitalstrukturer det första steget för att uppnå detta mål.
Denna studie presenterar hela processen med djupinlärningsbaserad orbitalstruktursegmentering, inklusive datainsamling, förbehandling och efterföljande modellering. Studien är avsedd att vara en resurs för kliniker som är intresserade av att använda den nuvarande metoden för att effektivt generera ett maskerat dataset och för ögonläkare som behöver information om förbehandling och modellering för orbitala CT-bilder. I den här artikeln presenteras en ny metod för segmentering av orbitalstruktur och sekventiell U-Net, en sekventiell 2D-segmenteringsmodell baserad på en representativ djupinlärningslösning i U-Net för medicinsk bildsegmentering. Protokollet beskriver den detaljerade proceduren för omloppssegmentering, inklusive (1) hur man använder ett maskeringsverktyg för marksanningen för segmentering av omloppsbana, (2) de steg som krävs för förbehandling av orbitalbilderna och (3) hur man tränar segmenteringsmodellen och utvärderar segmenteringsprestandan.
För övervakat lärande kommenterade fyra erfarna ögonläkare som hade varit styrelsecertifierade i över 5 år manuellt maskerna i ögongloben, synnerven och extraokulära muskler. Alla ögonläkare använde maskeringsprogrammet (MediLabel, se materialförteckningen), som använder superupplösning för effektiv maskering på CT-skanningar. Maskeringsprogramvaran har följande halvautomatiska funktioner: (1) SmartPencil, som genererar superpixelkartkluster med liknande värden på bildintensitet5; (2) SmartFill, som genererar segmenteringsmasker genom att beräkna energifunktionen för den pågående förgrunden och bakgrunden 6,7; och (3) Autokorrigering, vilket gör segmenteringsmaskernas gränser rena och överensstämmer med originalbilden. Exempelbilder av de halvautomatiska funktionerna visas i figur 1. De detaljerade stegen för manuell maskering finns i protokollavsnittet (steg 1).
Nästa steg är förbehandlingen av orbital CT-skanningarna. För att erhålla orbitalvolymerna av intresse (VOI) identifieras områdena i banan där ögongloben, muskeln och nerven är belägna under normala förhållanden, och dessa områden beskärs. Datauppsättningen har en hög upplösning, med <1 mm voxelupplösning i planet och segmenttjocklek, så interpolationsprocessen hoppas över. Istället utförs fönsterklippning på 48 HU-klippningsnivån och 400 HU-fönstret. Efter beskärningen och fönsterklippningen genereras tre seriella segment av omloppsbanans VOI:er för segmenteringsmodellens indata8. Protokollavsnittet (steg 2) innehåller information om förbehandlingsstegen.
U-Net9 är en allmänt använd segmenteringsmodell för medicinska bilder. U-Net-arkitekturen består av en kodare, som extraherar funktionerna i de medicinska bilderna, och en avkodare som presenterar de diskriminerande funktionerna semantiskt. Vid användning av U-Net för CT-skanningar består faltningsskikten av 3D-filter10,11. Detta är en utmaning eftersom beräkningen av 3D-filter kräver en stor minneskapacitet. För att minska minneskraven för 3D U-Net föreslogs SEQ-UNET8, där en uppsättning sekventiella 2D-skivor används i U-Net. För att förhindra förlust av spatiotemporala korrelationer mellan 2D-bildskivorna i 3D CT-skanningen används två dubbelriktade faltningslånga korttidsminnen (C-LSTM)12 i grundläggande U-Net. Den första dubbelriktade C-LSTM extraherar inter-slice-korrelationerna i slutet av kodaren. Den andra dubbelriktade C-LSTM, efter avkodarens utdata, omvandlar den semantiska segmenteringsinformationen i segmentsekvensens dimensioner till en enda bildsegmentering. Arkitekturen för SEQ-UNET visas i figur 2. Implementeringskoderna finns på github.com/SleepyChild1005/OrbitSeg, och användningen av koderna beskrivs i protokollavsnittet (steg 3).
Protocol
Det nuvarande arbetet utfördes med godkännande av den institutionella granskningsnämnden (IRB) vid Catholic Medical Center, och integriteten, konfidentialiteten och säkerheten för hälsoinformationen skyddades. Orbital CT-data samlades in (från avidentifierade mänskliga ämnen) från sjukhus anslutna till College of Medicine, Catholic University of Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital och St. Vincent Hospital). De orbitala CT-skanningarna erhölls från januari 2016 till december 2020. Datasetet innehöll 46 orbitala CT-skanningar från koreanska män och kvinnor i åldrar från 20 år till 60 år. Runtime-miljön (RTE) sammanfattas i tilläggstabell 1.
1. Maskering av ögongloben, synnerven och extraokulära muskler på orbital CT-skanningar
- Kör maskeringsprogrammet.
OBS: Maskeringsprogrammet (MediLabel, se materialförteckningen) är ett medicinskt bildmärkningsprogram för segmentering, som kräver få klick och har hög hastighet. - Ladda orbital-CT genom att klicka på ikonen för öppen fil och välja mål-CT-filen. Sedan visas CT-skanningarna på skärmen.
- Maskera ögongloben, synnerven och extraokulära muskler med superpixlar.
- Kör SmartPencil genom att klicka på SmartPencil-guiden i MediLabel (Video 1).
- Kontrollera upplösningen på superpixelkartan om det behövs (t.ex. 100, 500, 1 000 och 2 000 superpixlar).
- Klicka på klustret av superpixlar i ögongloben, optisk nerv och extraokulära muskler på superpixelkartan, där pixlar med liknande bildintensitetsvärden är grupperade.
- Förfina maskerna med autokorrigeringsfunktionerna i MediLabel.
- Klicka på SmartFill-guiden efter att ha maskerat några av superpixlarna på skivorna (Video 2).
- Klicka på autokorrigeringsikonen och se till att de korrigerade masketiketterna beräknas (Video 3).
- Upprepa steg 1.3 och steg 1.4 tills maskeringen har förfinats.
- Spara de maskerade bilderna.
2. Förbehandling: Fönsterklippning och beskärning av VOIs
- Extrahera VOIs med preprocessing_multilabel.py (filen kan laddas ner från GitHub).
- Kör preprocessing_multilabel.py.
- Kontrollera skanningarna och maskerna, som beskärs och sparas i VOIs-mappen.
- Transformera VOI:erna till en uppsättning med tre sekventiella CT-segment för indata till SEQ-UNET med builder_multilabel.py (filen kan laddas ned från GitHub).
- Kör sequence_builder_multilabel.py.
- Se till att storleken på segmenten och maskerna ändras till 64 bildpunkter med 64 bildpunkter under omformningen.
- Under omvandlingen utför du klippning med klippnivån 48 HU och 400 HU-fönstret.
- Kontrollera de sparade transformerade CT-skanningarna (nii-fil) och maskerna (nii-filen) i skanningsmappen respektive maskmappen under förbehandlade mappar.
3. Fyra korsvalideringar av orbitalsegmenteringsmodellen
- Skapa modellen enligt stegen nedan.
- Kör main.py.
- När du kör main.py, ange viknumret för de fyra korsvalideringarna med "-fold num x", där x är 0, 1, 2 eller 3.
- När du kör main.py, använd epoken, som är antalet tränings iterationer, som ett alternativ, till exempel "-epok x", där x är epoknumret. Standardnumret är 500.
- När du kör main.py anger du batchstorleken, vilket är antalet träningsexempel i ett enda träningspass. Standardnumret är 32.
- I main.py läser du in CT-skanningarna och maskerna och initierar SEQ-UNET med de förtränade parametrarna med hjälp av LIDC-IDRI-datauppsättningen (nedladdningsbar från canceravbildningsarkivet).
- I main.py utför du testningen av modellen efter träning. Beräkna utvärderingsmått, tärningspoäng och volymlikhet och spara dem i måttmappen.
- Kontrollera resultaten i den segmenterade mappen.
Representative Results
För den kvantitativa utvärderingen antogs två utvärderingsmått som användes i CT-bildsegmenteringsuppgiften. Dessa var två likhetsmått, inklusive tärningspoäng (DICE) och volymlikhet (VS)13:
DIKE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
där TP, FP och FN betecknar de sanna positiva, falska positiva respektive falska negativa värdena när segmenteringsresultatet och segmenteringsmasken ges.
Prestandan hos SEQ-UNET för segmentering av orbitalstruktur utvärderades genom fyra korsvalideringar. Resultaten visas i tabell 1. Ögonglobssegmenteringen med SEQ-UNET uppnådde en tärningspoäng på 0,86 och en VS på 0,83. Segmenteringen av de extraokulära musklerna och synnerven uppnådde låga tärningspoäng (0,54 respektive 0,34). Tärningspoängen för ögonglobssegmenteringen var över 80% eftersom den hade en stor del av VOI: erna och liten heterogenitet mellan CT-skanningar. Tärningspoängen för de extraokulära musklerna och synnerven var relativt låga eftersom de sällan uppträdde i CT-volymen och hittades i ett relativt litet antal CT-skivor. De visuella likhetspoängen för de extraokulära musklerna och synnerven (0,65 respektive 0,80) var dock högre än deras tärningspoäng. Detta resultat indikerar att segmenteringens specificitet var låg. Sammantaget var tärningspoängen och den visuella likheten hos SEQ-UNET för segmenteringen av alla orbitala understrukturer 0,79 respektive 0,82. Exempel på de visuella resultaten av segmentering av orbitalstruktur visas i figur 3. I figur 3A-C är blått det förutsagda segmenteringsresultatet och rött är marksanningsmasken. I figur 3D är rött, grönt och orange ögongloben, optisk muskel respektive nervsegmentering.
Bild 1: Halvautomatiska maskeringsfunktioner. Maskering av ögongloben, extraokulära muskler och optisk nerv på orbitala CT-skanningar med (A) SmartPencil, (B) SmartFill och (C) Autokorrigering. Ögonglobens mask är märkt av SmartPencil, som beräknar segmentens superpixlar, och masken görs genom att klicka på superpixlarna. Efter att ha klickat på några av ögonglobens superpixlar kan hela ögonglobsmasken beräknas av SmartFill. Vid maskering av optisk nerv görs maskeringsförfining genom autokorrigering. Blå färgmärkta ögonbollar visas i (A) och (B). Klicka här för att se en större version av denna siffra.
Bild 2: SEQ U-Net-arkitektur. Sekventiella 2D-skivor som indata och utgång; två dubbelriktade C-LSTM tillämpas på slutet av kodnings- och avkodningsblocken baserat på U-Net-arkitekturen. Klicka här för att se en större version av denna siffra.
Figur 3: Segmenteringsresultat av orbitalstrukturerna. (A) Ögonglob (etikett 1), (B) optisk muskel (etikett 2), (C) optisk nerv (etikett 3) och (D) multietikett (etikett 1, 2 och 3). Den vänstra bilden är banans VOI, mittbilden är den förutsagda segmenteringen och den högra bilden är grundsanningen. I (A), (B) och (C) är blått det förutsagda segmenteringsresultatet och rött är grundsanningsmasken. I (D) är röd, grön och orange ögongloben, extraokulär muskel respektive optisk nervsegmentering. Den förutsagda segmenteringen visade hög prestanda (DICE: 0,86 vs. 0,82) när det gäller ögongloben men låg prestanda när det gäller denextraokulära muskeln (DICE: 0,54 vs. 0,65) och optisk nerv (DICE: 0,34 vs. 0,8). Klicka här för att se en större version av denna siffra.
| Flera etiketter | Etikett 1 (Ögonglob) | Etikett 2 (Extraokulär muskel) | Etikett 3 (Optisk nerv) | |||||
| TÄRNING | VS | TÄRNING | VS | TÄRNING | VS | TÄRNING | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabell 1: Segmenteringsresultat för tärningspoängen och visuell likhet . Ögongloben, som har ett relativt stort antal skivor, segmenterades väl med en DICE på 0,8, men den extraokulära muskeln och synnerven, som har ett litet antal skivor och linjeform, segmenterades delvis med DICE-värden på 0,54 respektive 0,34.
Video 1: SmartPencil-guiden i maskeringsprogrammet. En demonstration av att kommentera flera pixlar för ögonglobsmaskering. Maskeringsuppgifterna aktiveras med ett klick på klustrade superpixlar. Klicka här för att ladda ner den här videon.
Video 2: SmartFill-guiden i maskeringsprogrammet. En demonstration av att kommentera flera pixlar för ögonglobsmaskering. När du har valt några pixlar i kommentarområdet genererar den här funktionen fullständiga segmenteringsmasker med liknande intensiteter som de valda pixlarna. Klicka här för att ladda ner den här videon.
Video 3: Autokorrigering i maskeringsprogrammet. En demonstration av automatisk korrigering av en maskerad pixel med hjälp av en förtränad konvolutionell neural nätverksalgoritm. Klicka här för att ladda ner den här videon.
Tilläggstabell 1: Runtime-miljö (RTE) för maskering, förbehandling och segmenteringsmodellering. Klicka här för att ladda ner den här tabellen.
Discussion
Djupinlärningsbaserad medicinsk bildanalys används ofta för sjukdomsdetektering. I oftalmologidomänen används detektions- och segmenteringsmodeller i diabetisk retinopati, glaukom, åldersrelaterad makuladegeneration och retinopati av prematuritet. Andra sällsynta sjukdomar förutom de inom oftalmologi har dock inte studerats på grund av den begränsade tillgången till stora öppna offentliga datamängder för djupinlärningsanalys. När du använder den här metoden i situationer där ingen offentlig datauppsättning är tillgänglig är maskeringssteget, som är en arbetskrävande och tidskrävande uppgift, oundvikligt. Det föreslagna maskeringssteget (protokollavsnitt, steg 1) hjälper dock till att generera maskering med hög noggrannhet inom kort tid. Med hjälp av superpixlar och neural nätverksbaserad fyllning, som klusterpixlar som liknar bildegenskaper på låg nivå, kan kliniker märka maskerna genom att klicka på grupperna av pixlar istället för att peka ut de specifika pixlarna. De automatiska korrigeringsfunktionerna hjälper också till att förfina maskprocesserna. Denna metods effektivitet och ändamålsenlighet kommer att bidra till att generera mer maskerade bilder i medicinsk forskning.
Bland de många möjligheterna inom förbehandling är extraktion av VOI och fönsterklippning effektiva metoder. Här introduceras extrahering av VOI och fönsterklippning i steg 2 i protokollet. När klinikerna förbereder datauppsättningen är extrahering av VOI från den givna datauppsättningen det viktigaste steget i processen eftersom de flesta segmenteringsfall fokuserar på små och specifika regioner i hela den medicinska bilden. När det gäller VOI: erna beskärs regionerna i ögongloben, optisk nerv och extraokulära muskler baserat på platsen, men effektivare metoder för att extrahera VOI har potential att förbättra segmenteringsprestanda14.
För segmenteringen används SEQ-UNET i studien. De medicinska 3D-bilderna har stora volymer, så djupa neurala nätverksmodeller kräver stor minneskapacitet. I SEQ-UNET implementeras segmenteringsmodellen med ett litet antal segment för att minska den önskade minnesstorleken utan att förlora funktionerna i 3D-informationen.
Modellen tränades med 46 VOI: er, vilket inte är ett stort antal för modellträning. På grund av det lilla antalet träningsdataset är prestandan för optisk nerv och extraokulär muskelsegmentering begränsad. Transfer learning15 och domain adaptation8 kan ge en lösning för att förbättra segmenteringsprestandan.
Hela segmenteringsprocessen som introduceras här är inte begränsad till orbital CT-segmentering. Den effektiva märkningsmetoden hjälper till att skapa en ny medicinsk bilddatamängd för när applikationsdomänen är unik för forskningsområdet. Python-koderna för GitHub angående förbearbetnings- och segmenteringsmodellering kan tillämpas på andra domäner med modifiering av beskärningsregionen, fönsterklippningsnivån och modellens hyperparametrar, till exempel antalet sekventiella segment, U-Net-arkitekturerna och så vidare.
Disclosures
Författarna förklarar inga intressekonflikter.
Acknowledgments
Detta arbete stöddes av National Research Foundation of Korea (NRF), bidrag finansierat av Koreas ministerium för vetenskap och IKT (MSIT) (nummer: 2020R1C1C1010079). För CMC-ORBIT-datauppsättningen gav den centrala institutionella granskningsnämnden (IRB) för Catholic Medical Center godkännande (XC19REGI0076). Detta arbete stöddes av Hongik University Research Fund 2022.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al.
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
