En objektsegmenteringsprotokol til orbital computertomografi (CT) billeder introduceres. Metoderne til mærkning af jordens sandhed om orbitalstrukturer ved hjælp af superopløsning, udtrækning af mængden af interesse fra CT-billeder og modellering af multi-label segmentering ved hjælp af 2D sekventiel U-Net til orbitale CT-billeder forklares til overvåget læring.
For nylig er deep learning-baserede segmenteringsmodeller blevet anvendt bredt inden for oftalmisk felt. Denne undersøgelse præsenterer den komplette proces med at konstruere en orbital computertomografi (CT) segmenteringsmodel baseret på U-Net. For overvåget læring kræves en arbejdskrævende og tidskrævende proces. Metoden til mærkning med superopløsning for effektivt at maskere jordsandheden på orbitale CT-billeder introduceres. Mængden af interesse beskæres også som en del af forbehandlingen af datasættet. Derefter, efter at have udtrukket de interessante mængder af orbitalstrukturerne, konstrueres modellen til segmentering af nøglestrukturerne i orbital CT ved hjælp af U-Net med sekventielle 2D-skiver, der bruges som input og to tovejs konvolutionelle langsigtede korte minder til bevarelse af krydsskivekorrelationerne. Denne undersøgelse fokuserer primært på segmentering af øjeæble, synsnerve og ekstraokulære muskler. Evalueringen af segmenteringen afslører den potentielle anvendelse af segmentering på orbitale CT-billeder ved hjælp af dybe læringsmetoder.
Banen er et lille og kompliceret rum på ca. 30,1 cm3 , der indeholder vigtige strukturer som øjeæble, nerver, ekstraokulære muskler, støttende væv og kar til syns- og øjeæblebevægelser1. Orbitale tumorer er unormale vævsvækst i kredsløbet, og nogle af dem truer patienternes syn eller øjeæblebevægelse, hvilket kan føre til dødelig dysfunktion. For at bevare patienternes visuelle funktion skal klinikere beslutte sig for behandlingsmetoderne baseret på tumoregenskaberne, og en kirurgisk biopsi er generelt uundgåelig. Dette kompakte og overfyldte område gør det ofte udfordrende for klinikere at udføre en biopsi uden at skade den normale struktur. Den dybe læringsbaserede billedanalyse af patologi til bestemmelse af kredsløbets tilstand kan hjælpe med at undgå unødvendig eller undgåelig skade på orbitalvævene under biopsi2. En metode til billedanalyse for orbitale tumorer er tumordetektion og segmentering. Indsamlingen af store mængder data for CT-billeder, der indeholder orbitale tumorer, er imidlertid begrænset på grund af deres lave forekomst3. Den anden effektive metode til beregningsmæssig tumordiagnose4 indebærer sammenligning af tumoren med de normale strukturer i kredsløbet. Antallet af orbitale CT-billeder i normale strukturer er relativt større end i tumorer. Derfor er segmenteringen af normale orbitalstrukturer det første skridt for at nå dette mål.
Denne undersøgelse præsenterer hele processen med dyb læringsbaseret orbital struktursegmentering, herunder dataindsamling, forbehandling og efterfølgende modellering. Undersøgelsen er beregnet til at være en ressource for klinikere, der er interesserede i at bruge den nuværende metode til effektivt at generere et maskeret datasæt og for øjenlæger, der kræver information om forbehandling og modellering til orbitale CT-billeder. Denne artikel præsenterer en ny metode til orbital struktursegmentering og sekventiel U-Net, en sekventiel 2D-segmenteringsmodel baseret på en repræsentativ dyb læringsløsning i U-Net til medicinsk billedsegmentering. Protokollen beskriver den detaljerede procedure for kredsløbssegmentering, herunder (1) hvordan man bruger et maskeringsværktøj til jordsandheden om orbitstruktursegmentering, (2) de trin, der kræves til forbehandling af orbitalbillederne, og (3) hvordan man træner segmenteringsmodellen og evaluerer segmenteringsydelsen.
For overvåget læring kommenterede fire erfarne øjenlæger, der havde været bestyrelsescertificeret i over 5 år, manuelt maskerne i øjet, synsnerven og ekstraokulære muskler. Alle øjenlæger brugte maskeringssoftwareprogrammet (MediLabel, se materialetabellen), som bruger superopløsning til effektiv maskering på CT-scanninger. Maskeringssoftwaren har følgende halvautomatiske funktioner: (1) SmartPencil, som genererer superpixelkortklynger med lignende værdier af billedintensitet5; (2) SmartFill, som genererer segmenteringsmasker ved at beregne energifunktionen i den igangværende forgrund og baggrund 6,7; og (3) Autokorrektion, som gør grænserne for segmenteringsmaskerne rene og i overensstemmelse med det originale billede. Eksempler på billeder af de halvautomatiske funktioner er vist i figur 1. De detaljerede trin for manuel maskering findes i protokolafsnittet (trin 1).
Det næste trin er forbehandlingen af orbitale CT-scanninger. For at opnå de orbitale mængder af interesse (VOI’er) identificeres de områder af kredsløbet, hvor øjet, musklerne og nerven er placeret under normale forhold, og disse områder beskæres. Datasættet har en høj opløsning med <1 mm voxelopløsning i plan og skivetykkelse, så interpolationsprocessen springes over. I stedet udføres vinduesklipning på 48 HU-klipningsniveauet og 400 HU-vinduet. Efter beskæring og vinduesklipning genereres tre serielle skiver af kredsløbs-VOI'erne til segmenteringsmodellens input8. Protokolafsnittet (trin 2) indeholder oplysninger om forbehandlingstrinnene.
U-Net9 er en meget anvendt segmenteringsmodel til medicinske billeder. U-Net-arkitekturen består af en encoder, der udtrækker funktionerne i de medicinske billeder, og en dekoder, der præsenterer de diskriminerende træk semantisk. Ved anvendelse af U-Net til CT-scanninger består de konvolutionelle lag af 3D-filtre10,11. Dette er en udfordring, fordi beregningen af 3D-filtre kræver en stor hukommelseskapacitet. For at reducere hukommelseskravene til 3D U-Net blev SEQ-UNET8, hvor et sæt sekventielle 2D-skiver anvendes i U-Net, foreslået. For at forhindre tab af spatiotemporale korrelationer mellem 2D-billedskiverne i 3D CT-scanningen anvendes to tovejs konvolutionelle langsigtede korte hukommelser (C-LSTM’er)12 i grundlæggende U-Net. Den første tovejs C-LSTM ekstraherer inter-skivekorrelationerne i slutningen af koderen. Den anden tovejs C-LSTM, efter dekoderens output, omdanner den semantiske segmenteringsinformation i dimensionerne af skivesekvensen til en enkelt billedsegmentering. Arkitekturen i SEQ-UNET er vist i figur 2. Implementeringskoderne er tilgængelige på github.com/SleepyChild1005/OrbitSeg, og brugen af koderne er beskrevet i protokolafsnittet (trin 3).
Deep learning-baseret medicinsk billedanalyse bruges i vid udstrækning til sygdomsdetektion. I oftalmologidomænet anvendes detektions- og segmenteringsmodeller i diabetisk retinopati, glaukom, aldersrelateret makuladegeneration og præmatur retinopati. Andre sjældne sygdomme end dem i oftalmologi er imidlertid ikke blevet undersøgt på grund af den begrænsede adgang til store åbne offentlige datasæt til dyb læringsanalyse. Når du anvender denne metode i situationer, hvor der ikke er noget offentligt datasæt tilgængeligt, er maskeringstrinnet, som er en arbejdskrævende og tidskrævende opgave, uundgåeligt. Det foreslåede maskeringstrin (protokolafsnit, trin 1) hjælper dog med at generere maskering med høj nøjagtighed inden for kort tid. Ved hjælp af superpixels og neurale netværksbaseret udfyldning, som klyngepixels, der ligner hinanden i billedegenskaber på lavt niveau, kan klinikere mærke maskerne ved at klikke på grupperne af pixels i stedet for at påpege de specifikke pixels. De automatiske korrektionsfunktioner hjælper også med at forfine maskeprocesserne. Denne metodes effektivitet og effektivitet vil hjælpe med at generere flere maskerede billeder i medicinsk forskning.
Blandt de mange muligheder inden for forbehandling er udtrækning af VOI’er og vinduesklipning effektive metoder. Her introduceres udpakning af VOI’er og vinduesklipning i trin 2 i protokollen. Når klinikerne forbereder datasættet, er udtrækning af VOI fra det givne datasæt det vigtigste trin i processen, fordi de fleste segmenteringssager fokuserer på små og specifikke regioner i hele det medicinske billede. Med hensyn til VOI’erne beskæres regionerne i øjeæblet, synsnerven og ekstraokulære muskler baseret på placeringen, men mere effektive metoder til ekstraktion af VOI’er har potentialet til at forbedre segmenteringsydelsen14.
Til segmenteringen anvendes SEQ-UNET i undersøgelsen. De medicinske 3D-billeder har store mængder, så dybe neurale netværksmodeller kræver stor hukommelseskapacitet. I SEQ-UNET implementeres segmenteringsmodellen med et lille antal skiver for at reducere den krævede hukommelsesstørrelse uden at miste funktionerne i 3D-informationen.
Modellen blev trænet med 46 VOI’er, hvilket ikke er et stort antal til modeltræning. På grund af det lille antal træningsdatasæt er udførelsen af optisk nerve og ekstraokulær muskelsegmentering begrænset. Transfer learning15 og domænetilpasning8 kan være en løsning til forbedring af segmenteringsydeevnen.
Hele segmenteringsprocessen, der introduceres her, er ikke begrænset til orbital CT-segmentering. Den effektive mærkningsmetode hjælper med at oprette et nyt medicinsk billeddatasæt til, når applikationsdomænet er unikt for forskningsområdet. Python-koderne i GitHub vedrørende forbehandling og segmenteringsmodellering kan anvendes på andre domæner med ændring af beskæringsområdet, vinduesklipningsniveauet og modelhyperparametrene, såsom antallet af sekventielle skiver, U-Net-arkitekturerne osv.
The authors have nothing to disclose.
Dette arbejde blev støttet af National Research Foundation of Korea (NRF), tilskud finansieret af Koreas ministerium for videnskab og IKT (MSIT) (nummer: 2020R1C1C1010079). For CMC-ORBIT-datasættet gav det centrale Institutional Review Board (IRB) i Catholic Medical Center godkendelse (XC19REGI0076). Dette arbejde blev støttet af 2022 Hongik University Research Fund.
GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
SEQ-UNET | downloadable from GitHub | ||
SmartFil | wizard in MediLabel | ||
SmartPencil | wizard in MediLabel |