Ett objektsegmenteringsprotokoll för orbital datortomografi (CT) -bilder introduceras. Metoderna för att märka grundsanningen för orbitalstrukturer genom att använda superupplösning, extrahera volymen av intresse från CT-bilder och modellera multietikettsegmentering med 2D-sekventiell U-Net för orbitala CT-bilder förklaras för övervakad inlärning.
Nyligen har djupinlärningsbaserade segmenteringsmodeller tillämpats i stor utsträckning inom det oftalmiska området. Denna studie presenterar den fullständiga processen för att konstruera en orbital datortomografi (CT) segmenteringsmodell baserad på U-Net. För övervakat lärande krävs en arbetsintensiv och tidskrävande process. Metoden för märkning med superupplösning för att effektivt maskera grundsanningen på orbital CT-bilder introduceras. Dessutom beskärs volymen av intresse som en del av förbehandlingen av datauppsättningen. Sedan, efter att ha extraherat volymerna av intresse för orbitalstrukturerna, konstrueras modellen för segmentering av nyckelstrukturerna i orbital CT med U-Net, med sekventiella 2D-skivor som används som ingångar och två dubbelriktade faltningslånga korta minnen för att bevara inter-slice-korrelationerna. Denna studie fokuserar främst på segmentering av ögongloben, optisk nerv och extraokulära muskler. Utvärderingen av segmenteringen avslöjar den potentiella tillämpningen av segmentering på orbitala CT-bilder med hjälp av djupinlärningsmetoder.
Banan är ett litet och komplicerat utrymme på cirka 30,1 cm3 som innehåller viktiga strukturer som ögongloben, nerver, extraokulära muskler, stödjande vävnader och kärl för syn och ögonglobsrörelser1. Orbitaltumörer är onormala vävnadstillväxter i banan, och några av dem hotar patienternas syn eller ögonglobsrörelse, vilket kan leda till dödlig dysfunktion. För att bevara patienternas visuella funktion måste kliniker besluta om behandlingsmetoderna baserat på tumöregenskaperna, och en kirurgisk biopsi är i allmänhet oundviklig. Detta kompakta och trånga område gör det ofta utmanande för kliniker att utföra en biopsi utan att skada den normala strukturen. Den djupinlärningsbaserade bildanalysen av patologi för att bestämma banans tillstånd kan hjälpa till att undvika onödig eller undvikbar skada på orbitalvävnaderna under biopsi2. En metod för bildanalys för orbitaltumörer är tumördetektering och segmentering. Insamlingen av stora mängder data för CT-bilder som innehåller orbitaltumörer är dock begränsad på grund av deras låga förekomst3. Den andra effektiva metoden för beräkningstumördiagnos4 innebär att man jämför tumören med de normala strukturerna i banan. Antalet orbitala CT-bilder i normala strukturer är relativt större än i tumörer. Därför är segmenteringen av normala orbitalstrukturer det första steget för att uppnå detta mål.
Denna studie presenterar hela processen med djupinlärningsbaserad orbitalstruktursegmentering, inklusive datainsamling, förbehandling och efterföljande modellering. Studien är avsedd att vara en resurs för kliniker som är intresserade av att använda den nuvarande metoden för att effektivt generera ett maskerat dataset och för ögonläkare som behöver information om förbehandling och modellering för orbitala CT-bilder. I den här artikeln presenteras en ny metod för segmentering av orbitalstruktur och sekventiell U-Net, en sekventiell 2D-segmenteringsmodell baserad på en representativ djupinlärningslösning i U-Net för medicinsk bildsegmentering. Protokollet beskriver den detaljerade proceduren för omloppssegmentering, inklusive (1) hur man använder ett maskeringsverktyg för marksanningen för segmentering av omloppsbana, (2) de steg som krävs för förbehandling av orbitalbilderna och (3) hur man tränar segmenteringsmodellen och utvärderar segmenteringsprestandan.
För övervakat lärande kommenterade fyra erfarna ögonläkare som hade varit styrelsecertifierade i över 5 år manuellt maskerna i ögongloben, synnerven och extraokulära muskler. Alla ögonläkare använde maskeringsprogrammet (MediLabel, se materialförteckningen), som använder superupplösning för effektiv maskering på CT-skanningar. Maskeringsprogramvaran har följande halvautomatiska funktioner: (1) SmartPencil, som genererar superpixelkartkluster med liknande värden på bildintensitet5; (2) SmartFill, som genererar segmenteringsmasker genom att beräkna energifunktionen för den pågående förgrunden och bakgrunden 6,7; och (3) Autokorrigering, vilket gör segmenteringsmaskernas gränser rena och överensstämmer med originalbilden. Exempelbilder av de halvautomatiska funktionerna visas i figur 1. De detaljerade stegen för manuell maskering finns i protokollavsnittet (steg 1).
Nästa steg är förbehandlingen av orbital CT-skanningarna. För att erhålla orbitalvolymerna av intresse (VOI) identifieras områdena i banan där ögongloben, muskeln och nerven är belägna under normala förhållanden, och dessa områden beskärs. Datauppsättningen har en hög upplösning, med <1 mm voxelupplösning i planet och segmenttjocklek, så interpolationsprocessen hoppas över. Istället utförs fönsterklippning på 48 HU-klippningsnivån och 400 HU-fönstret. Efter beskärningen och fönsterklippningen genereras tre seriella segment av omloppsbanans VOI:er för segmenteringsmodellens indata8. Protokollavsnittet (steg 2) innehåller information om förbehandlingsstegen.
U-Net9 är en allmänt använd segmenteringsmodell för medicinska bilder. U-Net-arkitekturen består av en kodare, som extraherar funktionerna i de medicinska bilderna, och en avkodare som presenterar de diskriminerande funktionerna semantiskt. Vid användning av U-Net för CT-skanningar består faltningsskikten av 3D-filter10,11. Detta är en utmaning eftersom beräkningen av 3D-filter kräver en stor minneskapacitet. För att minska minneskraven för 3D U-Net föreslogs SEQ-UNET8, där en uppsättning sekventiella 2D-skivor används i U-Net. För att förhindra förlust av spatiotemporala korrelationer mellan 2D-bildskivorna i 3D CT-skanningen används två dubbelriktade faltningslånga korttidsminnen (C-LSTM)12 i grundläggande U-Net. Den första dubbelriktade C-LSTM extraherar inter-slice-korrelationerna i slutet av kodaren. Den andra dubbelriktade C-LSTM, efter avkodarens utdata, omvandlar den semantiska segmenteringsinformationen i segmentsekvensens dimensioner till en enda bildsegmentering. Arkitekturen för SEQ-UNET visas i figur 2. Implementeringskoderna finns på github.com/SleepyChild1005/OrbitSeg, och användningen av koderna beskrivs i protokollavsnittet (steg 3).
Djupinlärningsbaserad medicinsk bildanalys används ofta för sjukdomsdetektering. I oftalmologidomänen används detektions- och segmenteringsmodeller i diabetisk retinopati, glaukom, åldersrelaterad makuladegeneration och retinopati av prematuritet. Andra sällsynta sjukdomar förutom de inom oftalmologi har dock inte studerats på grund av den begränsade tillgången till stora öppna offentliga datamängder för djupinlärningsanalys. När du använder den här metoden i situationer där ingen offentlig datauppsättning är tillgänglig är maskeringssteget, som är en arbetskrävande och tidskrävande uppgift, oundvikligt. Det föreslagna maskeringssteget (protokollavsnitt, steg 1) hjälper dock till att generera maskering med hög noggrannhet inom kort tid. Med hjälp av superpixlar och neural nätverksbaserad fyllning, som klusterpixlar som liknar bildegenskaper på låg nivå, kan kliniker märka maskerna genom att klicka på grupperna av pixlar istället för att peka ut de specifika pixlarna. De automatiska korrigeringsfunktionerna hjälper också till att förfina maskprocesserna. Denna metods effektivitet och ändamålsenlighet kommer att bidra till att generera mer maskerade bilder i medicinsk forskning.
Bland de många möjligheterna inom förbehandling är extraktion av VOI och fönsterklippning effektiva metoder. Här introduceras extrahering av VOI och fönsterklippning i steg 2 i protokollet. När klinikerna förbereder datauppsättningen är extrahering av VOI från den givna datauppsättningen det viktigaste steget i processen eftersom de flesta segmenteringsfall fokuserar på små och specifika regioner i hela den medicinska bilden. När det gäller VOI: erna beskärs regionerna i ögongloben, optisk nerv och extraokulära muskler baserat på platsen, men effektivare metoder för att extrahera VOI har potential att förbättra segmenteringsprestanda14.
För segmenteringen används SEQ-UNET i studien. De medicinska 3D-bilderna har stora volymer, så djupa neurala nätverksmodeller kräver stor minneskapacitet. I SEQ-UNET implementeras segmenteringsmodellen med ett litet antal segment för att minska den önskade minnesstorleken utan att förlora funktionerna i 3D-informationen.
Modellen tränades med 46 VOI: er, vilket inte är ett stort antal för modellträning. På grund av det lilla antalet träningsdataset är prestandan för optisk nerv och extraokulär muskelsegmentering begränsad. Transfer learning15 och domain adaptation8 kan ge en lösning för att förbättra segmenteringsprestandan.
Hela segmenteringsprocessen som introduceras här är inte begränsad till orbital CT-segmentering. Den effektiva märkningsmetoden hjälper till att skapa en ny medicinsk bilddatamängd för när applikationsdomänen är unik för forskningsområdet. Python-koderna för GitHub angående förbearbetnings- och segmenteringsmodellering kan tillämpas på andra domäner med modifiering av beskärningsregionen, fönsterklippningsnivån och modellens hyperparametrar, till exempel antalet sekventiella segment, U-Net-arkitekturerna och så vidare.
The authors have nothing to disclose.
Detta arbete stöddes av National Research Foundation of Korea (NRF), bidrag finansierat av Koreas ministerium för vetenskap och IKT (MSIT) (nummer: 2020R1C1C1010079). För CMC-ORBIT-datauppsättningen gav den centrala institutionella granskningsnämnden (IRB) för Catholic Medical Center godkännande (XC19REGI0076). Detta arbete stöddes av Hongik University Research Fund 2022.
GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
SEQ-UNET | downloadable from GitHub | ||
SmartFil | wizard in MediLabel | ||
SmartPencil | wizard in MediLabel |