Method Article

Toepassing van deep learning-gebaseerde medische beeldsegmentatie via orbitale computertomografie

DOI:

10.3791/64500

⸱

November 30th, 2022

 ,  ,  , 
1College of Medicine, The Catholic University of Korea, 2Department of Ophthalmology, St. Vincent’s Hospital, 3Yeoncheon Public Medical Center, 4Department of Industrial and Data Engineering, Hongik University, 5Department of Ophthalmology, Uijeongbu St. Mary’s Hospital

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Een objectsegmentatieprotocol voor orbitale computertomografie (CT) beelden wordt geïntroduceerd. De methoden voor het labelen van de grondwaarheid van orbitale structuren met behulp van superresolutie, het extraheren van het interessevolume uit CT-beelden en het modelleren van multi-label segmentatie met behulp van 2D-sequentiële U-Net voor orbitale CT-beelden worden uitgelegd voor supervised learning.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Onlangs zijn op deep learning gebaseerde segmentatiemodellen op grote schaal toegepast op het oogheelkundige gebied. Deze studie presenteert het volledige proces van het construeren van een orbitaal computertomografie (CT) segmentatiemodel op basis van U-Net. Voor begeleid leren is een arbeidsintensief en tijdrovend proces nodig. De methode van labeling met superresolutie om de grondwaarheid op orbitale CT-beelden efficiënt te maskeren, wordt geïntroduceerd. Ook wordt het interessevolume bijgesneden als onderdeel van de voorbewerking van de dataset. Vervolgens, na het extraheren van de interessante volumes van de orbitale structuren, wordt het model voor het segmenteren van de belangrijkste structuren van de orbitale CT geconstrueerd met behulp van U-Net, met sequentiële 2D-segmenten die worden gebruikt als inputs en twee bidirectionele convolutionele korte langetermijnherinneringen voor het behoud van de inter-slice correlaties. Deze studie richt zich voornamelijk op de segmentatie van de oogbol, oogzenuw en extraoculaire spieren. De evaluatie van de segmentatie onthult de mogelijke toepassing van segmentatie op orbitale CT-beelden met behulp van deep learning-methoden.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De baan is een kleine en gecompliceerde ruimte van ongeveer 30,1 cm3 die belangrijke structuren bevat zoals de oogbol, zenuwen, extraoculaire spieren, ondersteunende weefsels en bloedvaten voor zicht- en oogbolbewegingen1. Orbitale tumoren zijn abnormale weefselgroei in de baan en sommige bedreigen het gezichtsvermogen of de oogbolbeweging van patiënten, wat kan leiden tot fatale disfunctie. Om de visuele functie van patiënten te behouden, moeten clinici beslissen over de behandelingsmodaliteiten op basis van de tumorkenmerken, en een chirurgische biopsie is over het algemeen onvermijdelijk. Dit compacte en drukke gebied maakt het vaak een uitdaging voor clinici om een biopsie uit te voeren zonder de normale structuur te beschadigen. De op deep learning gebaseerde beeldanalyse van pathologie voor het bepalen van de toestand van de baan kan helpen bij het voorkomen van onnodig of vermijdbaar letsel aan de orbitale weefsels tijdens biopsie2. Een methode voor beeldanalyse voor orbitale tumoren is tumordetectie en -segmentatie. Het verzamelen van grote hoeveelheden gegevens voor CT-beelden met orbitale tumoren is echter beperkt vanwege hun lage incidentie3. De andere efficiënte methode voor computationele tumordiagnose4 omvat het vergelijken van de tumor met de normale structuren van de baan. Het aantal orbitale CT-beelden in normale structuren is relatief groter dan dat in tumoren. Daarom is de segmentatie van normale orbitale structuren de eerste stap om dit doel te bereiken.

Deze studie presenteert het hele proces van op deep learning gebaseerde orbitale structuursegmentatie, inclusief de gegevensverzameling, voorbewerking en daaropvolgende modellering. De studie is bedoeld als een hulpmiddel voor clinici die geïnteresseerd zijn in het gebruik van de huidige methode om efficiënt een gemaskeerde dataset te genereren en voor oogartsen die informatie nodig hebben over voorbewerking en modellering voor orbitale CT-beelden. Dit artikel presenteert een nieuwe methode voor orbitale structuursegmentatie en sequentiële U-Net, een sequentieel 2D-segmentatiemodel op basis van een representatieve deep-learning-oplossing in U-Net voor medische beeldsegmentatie. Het protocol beschrijft de gedetailleerde procedure van baansegmentatie, inclusief (1) hoe een maskeringstool te gebruiken voor de grondwaarheid van baanstructuursegmentatie, (2) de stappen die nodig zijn voor de voorbewerking van de orbitale beelden, en (3) hoe het segmentatiemodel te trainen en de segmentatieprestaties te evalueren.

Voor begeleid leren hebben vier ervaren oogartsen die al meer dan 5 jaar board gecertificeerd waren, handmatig de maskers van de oogbol, oogzenuw en extraoculaire spieren geannoteerd. Alle oogartsen gebruikten het maskeringssoftwareprogramma (MediLabel, zie de tabel met materialen), dat superresolutie gebruikt voor efficiënte maskering op CT-scans. De maskeersoftware heeft de volgende semi-automatische functies: (1) SmartPencil, dat superpixelkaartclusters genereert met vergelijkbare waarden van beeldintensiteit5; (2) SmartFill, dat segmentatiemaskers genereert door de energiefunctie van de doorlopende voor- en achtergrond 6,7 te berekenen; en (3) AutoCorrectie, waardoor de randen van de segmentatiemaskers schoon en consistent zijn met de oorspronkelijke afbeelding. Voorbeeldafbeeldingen van de semi-automatische functies zijn weergegeven in figuur 1. De gedetailleerde stappen van handmatig maskeren worden gegeven in de protocolsectie (stap 1).

De volgende stap is de voorbewerking van de orbitale CT-scans. Om de orbitale volumes van belang (VOI's) te verkrijgen, worden de gebieden van de baan geïdentificeerd waar de oogbol, spier en zenuw zich in normale omstandigheden bevinden, en deze gebieden worden bijgesneden. De dataset heeft een hoge resolutie, met <1 mm in-plane voxelresolutie en slicedikte, dus het interpolatieproces wordt overgeslagen. In plaats daarvan wordt raamknipsel uitgevoerd op het 48 HU-knipniveau en het 400 HU-venster. Na het bijsnijden en window clipping worden drie seriële segmenten van de orbit VOIs gegenereerd voor het segmentatiemodel input8. De protocolsectie (stap 2) bevat details over de voorbewerkingsstappen.

U-Net9 is een veelgebruikt segmentatiemodel voor medische beelden. De U-Net-architectuur bestaat uit een encoder, die de kenmerken van de medische beelden extraheert, en een decoder, die de discriminerende functies semantisch presenteert. Bij het gebruik van U-Net voor CT-scans bestaan de convolutionele lagen uit 3D-filters10,11. Dit is een uitdaging omdat de berekening van 3D-filters een grote geheugencapaciteit vereist. Om de geheugenvereisten voor 3D U-Net te verminderen, werd SEQ-UNET8, waarbij een set opeenvolgende 2D-segmenten worden gebruikt in het U-Net, voorgesteld. Om het verlies van spatiotemporale correlaties tussen de 2D-beeldsegmenten van de 3D CT-scan te voorkomen, worden twee bidirectionele convolutionele lange termijn korte geheugens (C-LSTMs)12 gebruikt in basis U-Net. De eerste bidirectionele C-LSTM extraheert de inter-slice correlaties aan het einde van de encoder. De tweede bidirectionele C-LSTM, na de uitgang van de decoder, transformeert de semantische segmentatie-informatie in de afmetingen van de segmentreeks in een enkele beeldsegmentatie. De architectuur van SEQ-UNET is weergegeven in figuur 2. De implementatiecodes zijn beschikbaar op github.com/SleepyChild1005/OrbitSeg en het gebruik van de codes wordt gedetailleerd beschreven in de protocolsectie (stap 3).

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het huidige werk werd uitgevoerd met de goedkeuring van de Institutional Review Board (IRB) van het Katholiek Medisch Centrum en de privacy, vertrouwelijkheid en veiligheid van de gezondheidsinformatie werden beschermd. De orbitale CT-gegevens werden verzameld (van niet-geïdentificeerde menselijke proefpersonen) van ziekenhuizen die zijn aangesloten bij het College of Medicine, de Katholieke Universiteit van Korea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital en St. Vincent Hospital). De orbitale CT-scans zijn verkregen van januari 2016 tot december 2020. De dataset bevatte 46 orbitale CT-scans van Koreaanse mannen en vrouwen, variërend in leeftijd van 20 jaar tot 60 jaar. De runtime-omgeving (RTE) is samengevat in aanvullende tabel 1.

1. Maskeren van de oogbol, oogzenuw en extraoculaire spieren op de orbitale CT-scans

  1. Voer het maskeringssoftwareprogramma uit.
    OPMERKING: Het maskeringssoftwareprogramma (MediLabel, zie de tabel met materialen) is een softwareprogramma voor het labelen van medische afbeeldingen voor segmentatie, dat enkele klikken vereist en een hoge snelheid heeft.
  2. Laad de orbitale CT door op het pictogram open bestand te klikken en het doel-CT-bestand te selecteren. Vervolgens worden de CT-scans op het scherm weergegeven.
  3. Maskeer de oogbol, oogzenuw en extraoculaire spieren met behulp van superpixels.
    1. Voer de SmartPencil uit door op de SmartPencil-wizard in MediLabel te klikken (video 1).
    2. Bepaal indien nodig de resolutie van de superpixelkaart (bijvoorbeeld 100, 500, 1.000 en 2.000 superpixels).
    3. Klik op het cluster van superpixels van de oogbol, oogzenuw en extraoculaire spieren op de superpixelkaart, waar pixels met vergelijkbare beeldintensiteitswaarden zijn geclusterd.
  4. Verfijn de maskers met de autocorrectiefuncties in MediLabel.
    1. Klik op de SmartFill-wizard nadat u enkele van de superpixels op de segmenten hebt gemaskeerd (video 2).
    2. Klik op het pictogram AutoCorrectie en zorg ervoor dat de gecorrigeerde maskerlabels zijn berekend (Video 3).
  5. Herhaal stap 1.3 en stap 1.4 totdat de verfijning van de maskering is voltooid.
  6. Sla de gemaskerde afbeeldingen op.

2. Voorbewerking: vensterknippen en bijsnijden van de VOI's

  1. Pak de VOI's uit met preprocessing_multilabel.py (het bestand kan worden gedownload van GitHub).
    1. Voer preprocessing_multilabel.py uit.
    2. Controleer de scans en maskers die worden bijgesneden en opgeslagen in de map VOIs.
  2. Transformeer de VOI's naar de set van drie opeenvolgende CT-segmenten voor de invoer naar SEQ-UNET met builder_multilabel.py (het bestand kan worden gedownload van GitHub).
    1. Voer sequence_builder_multilabel.py uit.
    2. Zorg ervoor dat de segmenten en maskers tijdens de transformatie worden aangepast naar 64 pixels bij 64 pixels.
    3. Voer tijdens de transformatie clipping uit met het 48 HU-knipniveau en het venster van 400 HU.
    4. Controleer de opgeslagen getransformeerde CT-scans (nii-bestand) en maskers (nii-bestand) in respectievelijk de scanmap en de maskermap onder vooraf verwerkte mappen.

3. Vier kruisvalidaties van het orbitale segmentatiemodel

  1. Bouw het model volgens de onderstaande stappen.
    1. Voer main.py uit.
    2. Wanneer u main.py uitvoert, geeft u het vouwnummer van de vier kruisvalidaties door "-fold num x", waarbij x 0, 1, 2 of 3 is.
    3. Gebruik bij het uitvoeren van main.py het tijdperk, het aantal trainings-iteraties, als optie, zoals "-tijdperk x", waarbij x het tijdperkgetal is. Het standaardnummer is 500.
    4. Wanneer u main.py uitvoert, stelt u de batchgrootte in, het aantal trainingsmonsters in één trainingssessie. Het standaardnummer is 32.
    5. Laad in main.py de CT-scans en maskers en initialiseer de SEQ-UNET met de vooraf getrainde parameters met behulp van de LIDC-IDRI-dataset (te downloaden uit het kankerbeeldarchief).
    6. Voer in main.py het testen van het model uit na de training. Bereken de evaluatiestatistieken, dobbelsteenscore en volumeovereenkomst en sla ze op in de map met statistieken.
    7. Controleer de resultaten in de gesegmenteerde map.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Voor de kwantitatieve evaluatie werden twee evaluatiemaatstaven gebruikt, die werden gebruikt in de CT-beeldsegmentatietaak. Dit waren twee gelijkenisstatistieken, waaronder dice score (DICE) en volume similarity (VS)13:

DOBBELSTENEN (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)

waarbij TP, FP en FN respectievelijk de echte positieve, fout-positieve en fout-negatieve waarden aangeven wanneer het segmentatieresultaat en het segmentatiemasker worden gegeven.

De prestaties van SEQ-UNET voor orbitale structuursegmentatie werden geëvalueerd door vier kruisvalidaties. De resultaten zijn weergegeven in tabel 1. De oogbolsegmentatie met SEQ-UNET behaalde een dobbelsteenscore van 0,86 en een VS van 0,83. De segmentatie van de extraoculaire spieren en oogzenuw bereikte lage dobbelsteenscores (respectievelijk 0,54 en 0,34). De dobbelsteenscore van de oogbolsegmentatie was meer dan 80% omdat het een groot deel van de VOI's had en weinig heterogeniteit tussen CT-scans. De dobbelsteenscores van de extraoculaire spieren en oogzenuw waren relatief laag omdat ze zelden in het CT-volume verschenen en werden gevonden in een relatief klein aantal van de CT-plakjes. De visuele gelijkenisscores van de extraoculaire spieren en oogzenuw (respectievelijk 0,65 en 0,80) waren echter hoger dan hun dobbelsteenscores. Dit resultaat geeft aan dat de specificiteit van segmentatie laag was. Over het algemeen waren de dobbelsteenscore en visuele gelijkenis van SEQ-UNET voor de segmentatie van alle orbitale substructuren respectievelijk 0,79 en 0,82. Voorbeelden van de visuele resultaten van orbitale structuursegmentatie zijn weergegeven in figuur 3. In figuur 3A-C is blauw het voorspelde segmentatieresultaat en rood het grondwaarheidsmasker. In figuur 3D zijn rood, groen en oranje respectievelijk de oogbol, optische spier en zenuwsegmentatie.

figure-results-1
Figuur 1: Semi-automatische maskeringsfuncties. Maskeren van de oogbol, extraoculaire spieren en oogzenuw op orbitale CT-scans met behulp van (A) SmartPencil, (B) SmartFill en (C) AutoCorrectie. Het masker van de oogbol wordt gelabeld door SmartPencil, dat de superpixels van de segmenten berekent, en het masker wordt gemaakt door op de superpixels te klikken. Na het klikken op enkele van de oogbol superpixels, kan het volledige oogbolmasker worden berekend door SmartFill. In het geval van het maskeren van de oogzenuw, wordt de maskering verfijning gemaakt door AutoCorrectie. Oogbollen met een blauw kleurlabel worden weergegeven in (A) en (B). Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: SEQ U-Net architectuur. Sequentiële 2D-segmenten als invoer en uitvoer; twee bidirectionele C-LSTMs worden toegepast op het einde van de coderings- en decoderingsblokken op basis van de U-Net-architectuur. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Segmentatieresultaten van de orbitale structuren. (A) Oogbol (label 1), (B) optische spier (label 2), (C) oogzenuw (label 3) en (D) multi-label (labels 1, 2 en 3). Het linkerbeeld is de VOI van de baan, het middelste beeld is de voorspelde segmentatie en het rechterbeeld is de grondwaarheid. In (A), (B) en (C) is blauw het voorspelde segmentatieresultaat en rood het grondwaarheidsmasker. In (D), rood, groen en oranje zijn respectievelijk de oogbol, extraoculaire spier en oogzenuwsegmentatie. De voorspelde segmentatie toonde hoge prestaties (DICE: 0,86 vs. 0,82) in het geval van de oogbol, maar lage prestaties in het geval van deextraoculaire spier (DICE: 0,54 vs. 0,65) en oogzenuw (DICE: 0,34 vs. 0,8). Klik hier om een grotere versie van deze figuur te bekijken.

MultilabelLabel 1 (Oogbol)Label 2 (extraoculaire spier)Label 3 (oogzenuw)
DOBBELSTEENTegenDOBBELSTEENTegenDOBBELSTEENTegenDOBBELSTEENTegen
SEQ-UNET0.790.820.860.830.540.650.340.8

Tabel 1: Segmentatieresultaten voor de dobbelsteenscore en visuele gelijkenis. De oogbol, die een relatief groot aantal plakjes heeft, was goed gesegmenteerd met een DICE van 0,8, maar de extraoculaire spier en oogzenuw, die kleine aantallen plakjes en lijnvorm hebben, werden gedeeltelijk gesegmenteerd met DICE-waarden van respectievelijk 0,54 en 0,34.

Video 1: SmartPencil wizard in het maskeersoftwareprogramma. Een demonstratie van het annoteren van meerdere pixels voor oogbolmaskering. De maskeringstaken worden met één klik ingeschakeld op geclusterde superpixels. Klik hier om deze video te downloaden.

Video 2: SmartFill-wizard in het maskeringssoftwareprogramma. Een demonstratie van het annoteren van meerdere pixels voor oogbolmaskering. Na het selecteren van enkele pixels in het annotatiegebied genereert deze functie volledige segmentatiemaskers met vergelijkbare intensiteiten als de geselecteerde pixels. Klik hier om deze video te downloaden.

Video 3: AutoCorrectie in het maskeringssoftwareprogramma. Een demonstratie van de automatische correctie van een gemaskeerde pixel met behulp van een vooraf getraind convolutioneel neuraal netwerkalgoritme. Klik hier om deze video te downloaden.

Aanvullende tabel 1: Runtime-omgeving (RTE) van maskering, voorbewerking en segmentatiemodellering. Klik hier om deze tabel te downloaden.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deep learning-gebaseerde medische beeldanalyse wordt veel gebruikt voor ziektedetectie. In het oogheelkundige domein worden detectie- en segmentatiemodellen gebruikt bij diabetische retinopathie, glaucoom, leeftijdsgebonden maculaire degeneratie en retinopathie van prematuriteit. Andere zeldzame ziekten dan die in de oogheelkunde zijn echter niet bestudeerd vanwege de beperkte toegang tot grote open openbare datasets voor deep learning-analyse. Bij het toepassen van deze methode in situaties waarin geen openbare dataset beschikbaar is, is de maskeringsstap, die een arbeidsintensieve en tijdrovende taak is, onvermijdelijk. De voorgestelde maskeringsstap (protocolsectie, stap 1) helpt echter om binnen korte tijd maskering met hoge nauwkeurigheid te genereren. Met behulp van superpixels en op neurale netwerken gebaseerde vulling, die pixels clusteren die vergelijkbaar zijn in afbeeldingseigenschappen op laag niveau, kunnen clinici de maskers labelen door op de groepen pixels te klikken in plaats van de specifieke pixels aan te wijzen. Ook helpen de automatische correctiefuncties bij het verfijnen van de maskerprocessen. De efficiëntie en effectiviteit van deze methode zal helpen bij het genereren van meer gemaskeerde beelden in medisch onderzoek.

Onder de vele mogelijkheden in de voorbewerking zijn het extraheren van VOI's en het knippen van vensters effectieve methoden. Hier worden het extraheren van VOI's en window clipping geïntroduceerd in stap 2 van het protocol. Wanneer de clinici de dataset voorbereiden, is het extraheren van de VOI uit de gegeven dataset de belangrijkste stap in het proces, omdat de meeste segmentatiegevallen zich richten op kleine en specifieke regio's in het hele medische beeld. Met betrekking tot de VOI's worden de regio's van de oogbol, oogzenuw en extraoculaire spieren bijgesneden op basis van de locatie, maar effectievere methoden voor het extraheren van VOI's hebben het potentieel om de segmentatieprestaties te verbeteren14.

Voor de segmentatie wordt SEQ-UNET gebruikt in de studie. De 3D-medische beelden hebben grote volumes, dus diepe neurale netwerkmodellen vereisen grote geheugencapaciteiten. In SEQ-UNET wordt het segmentatiemodel geïmplementeerd met een klein aantal segmenten om de vereiste geheugengrootte te verkleinen zonder de functies van de 3D-informatie te verliezen.

Het model werd getraind met 46 VOI's, wat geen groot aantal is voor modeltraining. Vanwege het kleine aantal trainingsdatasets zijn de prestaties van oogzenuw- en extraoculaire spiersegmentatie beperkt. Transfer learning15 en domeinaanpassing8 kunnen een oplossing bieden voor het verbeteren van de segmentatieprestaties.

Het hele segmentatieproces dat hier wordt geïntroduceerd, is niet beperkt tot orbitale CT-segmentatie. De efficiënte etiketteringsmethode helpt bij het maken van een nieuwe medische beelddataset voor wanneer het toepassingsdomein uniek is voor het onderzoeksgebied. De python-codes van GitHub met betrekking tot de voorbewerking en segmentatiemodellering kunnen worden toegepast op andere domeinen met de wijziging van het bijsnijdgebied, het vensterknipniveau en de hyperparameters van het model, zoals het aantal opeenvolgende segmenten, de U-Net-architecturen, enzovoort.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs verklaren geen belangenconflicten.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit werk werd ondersteund door de National Research Foundation of Korea (NRF), subsidie gefinancierd door het Ministerie van Wetenschap en ICT van Korea (MSIT) (nummer: 2020R1C1C1010079). Voor de CMC-ORBIT dataset heeft de centrale Institutional Review Board (IRB) van het Katholiek Medisch Centrum goedkeuring gegeven (XC19REGI0076). Dit werk werd ondersteund door het Hongik University Research Fund 2022.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
GitHub linkgithub.com/SleepyChild1005/OrbitSeg
MediLabelINGRADIENT (Seoul, Korea)een medische beeldlabelingssoftwareprogramma voor segmentatie met minder klikken en hogere snelheid
SEQ-UNETte downloaden van GitHub
SmartFilwizard in MediLabel 
SmartPencil wizard in MediLabel 

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
  2. Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
  3. Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
  4. Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952(2021).
  5. Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
  6. Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
  7. Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
  8. Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
  9. Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
  10. Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
  11. Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
  12. Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330(2017).
  13. Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006(2018).
  14. Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706(2021).
  15. Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685(2018).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Deep Learning SegmentationOrbital Computed TomographyMedical Image SegmentationU Net ModelEyeball SegmentationOptic Nerve SegmentationExtraocular MusclesSuperpixel MaskingSequence U NetTransfer Learning

Related Articles