Het doel van deze studie is om een nieuw 3D digitaal model van longknobbels te ontwikkelen dat dient als een communicatiebrug tussen artsen en patiënten en ook een geavanceerd hulpmiddel is voor pre-diagnose en prognostische evaluatie.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Methodenartikel
Een 3D digitaal model voor de diagnose en behandeling van longknobbels
In dit artikel
Samenvatting
Samenvatting
De driedimensionale (3D) reconstructie van longknobbels met behulp van medische beelden heeft nieuwe technische benaderingen geïntroduceerd voor het diagnosticeren en behandelen van longknobbeltjes, en deze benaderingen worden geleidelijk erkend en overgenomen door artsen en patiënten. Niettemin is het construeren van een relatief universeel 3D digitaal model van longknobbels voor diagnose en behandeling een uitdaging vanwege apparaatverschillen, opnametijden en knobbeltypen. Het doel van deze studie is om een nieuw 3D digitaal model van longknobbels voor te stellen dat dient als een brug tussen artsen en patiënten en ook een geavanceerd hulpmiddel is voor pre-diagnose en prognostische evaluatie. Veel AI-gestuurde longknobbeldetectie- en herkenningsmethoden maken gebruik van deep learning-technieken om de radiologische kenmerken van longknobbels vast te leggen, en deze methoden kunnen een goede area under-the-curve (AUC) -prestatie bereiken. Vals-positieven en vals-negatieven blijven echter een uitdaging voor radiologen en clinici. De interpretatie en expressie van kenmerken vanuit het perspectief van longknobbelclassificatie en -onderzoek zijn nog steeds onbevredigend. In deze studie wordt een methode voorgesteld voor continue 3D-reconstructie van de hele long in horizontale en coronale posities door bestaande medische beeldverwerkingstechnologieën te combineren. In vergelijking met andere toepasbare methoden stelt deze methode gebruikers in staat om snel pulmonale knobbeltjes te lokaliseren en hun fundamentele eigenschappen te identificeren, terwijl ze ook longknobbels vanuit meerdere perspectieven observeren, waardoor ze een effectiever klinisch hulpmiddel bieden voor het diagnosticeren en behandelen van longknobbels.
Inleiding
De globale incidentie van longknobbels is variabel, maar over het algemeen wordt geschat dat ongeveer 30% van de volwassenen ten minste één longknobbel heeft die zichtbaar is op thoraxfoto's1. De incidentie van longknobbels is hoger in specifieke populaties, zoals zware rokers en mensen met een voorgeschiedenis van longkanker of andere longziekten. Het is belangrijk op te merken dat niet alle longknobbels kwaadaardig zijn, maar een grondige evaluatie is noodzakelijk om maligniteit2 uit te sluiten. De vroege detectie en diagnose van longkanker zijn cruciaal voor het verbeteren van de overlevingskansen, en regelmatige screening met lage dosis computertomografie (LDCT) wordt aanbevolen voor personen met een hoog risico. Veel AI-gestuurde longknobbeldetectie- en herkenningsmethoden 3,4,5,6,7 maken gebruik van deep learning-technieken om de radiologische kenmerken van longknobbels vast te leggen, en deze methoden kunnen goede area under the curve (AUC) -prestaties bereiken. Vals-positieven en vals-negatieven blijven echter een uitdaging voor radiologen en clinici. De interpretatie en expressie van kenmerken vanuit het perspectief van longknobbelclassificatie en -onderzoek zijn nog steeds onbevredigend. Tegelijkertijd heeft de 3D-reconstructie van longknobbels op basis van LDCT steeds meer aandacht gekregen als digitaal model voor verschillende soorten knobbeltjes.
De 3D-reconstructie van longknobbels is een proces dat een 3D-weergave genereert van een kleine groei of knobbel in de long. Dit proces omvat meestal de toepassing van medische beeldanalysetechnieken die gebruikmaken van zowel medische expertise als data-intelligentiebenaderingen. Het resulterende digitale 3D-model biedt een meer gedetailleerde en nauwkeurige weergave van de knobbel, waardoor de grootte, vorm en ruimtelijke relatie met de omliggende longweefsels 8,9,10,11,12 beter kunnen worden gevisualiseerd en geanalyseerd. Dergelijke informatie kan helpen bij de diagnose en monitoring van longknobbels, met name die waarvan wordt vermoed dat ze kankerachtig zijn. Door een nauwkeurigere analyse mogelijk te maken, heeft de 3D-reconstructie van longknobbels het potentieel om de nauwkeurigheid van de diagnose te verbeteren en behandelingsbeslissingen te informeren.
Maximale intensiteitsprojectie (MIP) is een populaire techniek op het gebied van 3D-reconstructie van longknobbels en wordt gebruikt om een 2D-projectie van een 3D-beeld te maken 8,9,10,11,12 Het is vooral nuttig bij de visualisatie van volumetrische gegevens die zijn geëxtraheerd uit digitale beeldvorming en communicatie in de geneeskunde (DICOM) -bestanden die door CT zijn gescand. De MIP-techniek werkt door de voxels (de kleinste eenheden van 3D-volumegegevens) met de hoogste intensiteit langs de kijkrichting te selecteren en op een 2D-vlak te projecteren. Dit resulteert in een 2D-beeld dat de structuren met de hoogste intensiteit benadrukt en die met een lagere intensiteit onderdrukt, waardoor het gemakkelijker wordt om relevante kenmerkente identificeren en te analyseren 9,10,11,12. MIP is echter niet zonder beperkingen. Het projectieproces kan bijvoorbeeld leiden tot verlies van informatie en het resulterende 2D-beeld geeft mogelijk niet nauwkeurig de 3D-structuur van het onderliggende object weer. Niettemin blijft MIP een waardevol hulpmiddel voor medische beeldvorming en visualisatie, en het gebruik ervan blijft evolueren met de vooruitgang in technologie en rekenkracht11.
In deze studie wordt een opeenvolgend MIP-model ontwikkeld om longknobbels te visualiseren dat gemakkelijk te gebruiken is, gebruiksvriendelijk voor radiologen, artsen en patiënten, en de identificatie en schatting van de eigenschappen van longknobbels mogelijk maakt. De belangrijkste voordelen van deze verwerkingsaanpak omvatten de volgende aspecten: (1) het elimineren van valse positieven en valse negatieven die voortvloeien uit patroonherkenning, waardoor een focus op het helpen van artsen mogelijk is om meer uitgebreide informatie te verkrijgen over de locatie, vorm en 3D-grootte van longknobbels, evenals hun relatie tot de omliggende vasculatuur; (2) gespecialiseerde artsen in staat te stellen professionele kennis van de kenmerken van longknobbels te verwerven, zelfs zonder de hulp van radiologen; en (3) het verbeteren van zowel de communicatie-efficiëntie tussen artsen en patiënten als de prognose-evaluatie.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
OPMERKING: Tijdens de voorbewerkingsfase van de gegevens moeten de originele DICOM-gegevens worden gesorteerd en onderschept om compatibiliteit met verschillende apparaten en consistente resultaten te garanderen. Voor intensiteitsverwerking moet voldoende instelbare capaciteit worden gereserveerd en een continu 3D-perspectief is essentieel voor observatie. In dit protocol wordt een methodische beschrijving van de onderzoeksaanpak gegeven, met een beschrijving van een geval waarbij een 84-jarige vrouwelijke patiënt zich presenteert met longknobbels. Deze patiënte gaf geïnformeerde toestemming voor haar diagnose via digitale modellering en gaf toestemming voor het gebruik van haar gegevens voor wetenschappelijke onderzoeksdoeleinden. De modelreconstructiefunctie is afgeleid van de PulmonaryNodule software tool (zie de Tabel met materialen voor details). Ethische goedkeuring werd verkregen van de ethische commissie van het Dongzhimen-ziekenhuis, verbonden aan de Beijing University of Chinese Medicine (DZMEC-KY-2019.90).
1. Gegevensverzameling en -voorbereiding
- LDCT-gegevens voor de detectie van longknobbels
OPMERKING: De verschillen in de parameters zijn niet afhankelijk van de gebruikte onderzoeksmethode.- Verkrijg toestemming van de patiënt voor het verkrijgen van DICOM-gegevens. Breng alle gegevens over naar de aangewezen werkmap.
- Identificeer de gegevensmap met het hoogste aantal scanlagen en de dunste laagdikte om de nauwkeurigheid te optimaliseren op basis van de bestandsinformatie. Over het algemeen geldt dat hoe meer DICOM-scanbestanden een patiënt heeft, hoe dunner de dikte van de scanlaag.
- Door de functie Dicominfo te implementeren en de DICOM-bestanden als functieparameters te gebruiken, verkrijgt u de segmentdikte en pixelafstandsparameters in de MATLAB-omgeving. Deze parameters zijn essentieel voor het instellen van de 3D-volumeweergavesnelheid. Voor de voorbeeldgegevens die in dit onderzoek werden gebruikt, was de plakdikte 1 mm, de pixelafstand 0,5 mm en werden in totaal 200 lagen gescand.
- De sortering van de gescande gegevens corrigeren
OPMERKING: De volgorde van elke afbeelding moet worden gesorteerd op volumeconstructie.- Lees de locatiegegevens van elke afbeelding met behulp van de functie Dicominfo. Verkrijg de locatie door informatie in te voeren . SliceLocation in de MATLAB-werkruimte.
- Implementeer de functie SliceLocation om de locatiearray voor een variabele op te slaan en er een plot van te maken (afbeelding 1).
- Met behulp van de knop Gegevenstips in de rechterbovenhoek van de GUI voegt u een gegevenstip toe aan de plot op het punt dat de maximale locatiewaarde van de normale reeks vertegenwoordigt (de bovenste locatie van de beeldvorming van de patiënt; Figuur 1).
- Sorteer alle afbeeldingen en extraheer de afbeeldingen vanaf 1 tot de maximale locatiewaarde door de functie VolumeResort te implementeren.
- Sla de volumes van de geldige afbeeldingen op met de gesorteerde index, wat handig is om terug te gaan naar de belangrijke knobbeltjes.
- Inspectie van het thoracale volume
OPMERKING: Het hebben van een goed gedefinieerde structuur voor gegevensopslag maakt vervolgwerk gemakkelijker.- Implementeer de functie VolumeInspect om drie weergaven van het geconstrueerde volume weer te geven. Sleep het viziersnijding omhoog en omlaag in de coronale as om snel door alle afbeeldingen op de horizontale as te bladeren (afbeelding 2).
- Verplaats het vizier naar de horizontale as om door alle afbeeldingen in de coronale as te bladeren. Het vizier bevindt zich in dezelfde ruimtelijke coördinaten in het 3D-volume; Als u het op de ene as verplaatst, verandert daarom de locatie van de afbeeldingen in de andere twee assen.
- Gebruik voor de functie VolumeInspect het standaardintensiteitsvenster voor de long in de GUI. Pas de werkelijke filterprestaties aan door de linkermuisknop ingedrukt te houden en in de as te slepen.
2. Digitaal model voor horizontale 3D-reconstructie
OPMERKING: Het subproces 3Dlung_Horizon voert een grondig onderzoek uit van longknobbels vanuit een horizontaal perspectief.
- Implementeer de Build_3Dlung_Horizon-functie in de MATLAB-werkplek om het digitale 3D-model van de longknobbels onder het filtervenster van de long te reconstrueren en open vervolgens de GUI om het horizontale 3D-model te controleren (figuur 3).
- Anders dan in stap 1.3.2 is de GUI in figuur 3 een continue 3D-longstructuur waarin verschillende soorten longknobbels en hun relatieve ruimtelijke relaties met het longweefsel duidelijk te zien zijn. Wanneer u de schuifbalk op de GUI met de muis sleept, kan de continue 3D-longstructuur worden waargenomen.
- De rechterbovenhoek van de GUI in afbeelding 3 bevat pictogrammen voor inzoomen, uitzoomen, terugkeren naar de globale weergave en het markeren van de coördinaten van de geselecteerde pixel. Gebruik de zoomfunctie om de lokale kenmerken van de laesies te observeren en relevante 3D-structurele uitvoerfoto's uit te voeren. Gebruik de knop Pixelcoördinaten markeren om de afstand tussen twee punten te berekenen om de grootte van de knobbeltjes te meten.
- De standaardkleurenbalk is de jet-kleurenkaart, wat betekent dat blauw tot rood waarden van laag naar hoog vertegenwoordigt. Klik met de rechtermuisknop op Kleurenbalk in het pop-upmenu om de algemene grijze kleurenkaart te selecteren en de hele GUI opnieuw in te stellen.
- Als het filtervenster niet tevreden is, gebruikt u de linkermuisknop om omhoog en omlaag te slepen in het midden van de afbeelding om het vensterniveau aan te passen. Sleep naar links en rechts om de vensterbreedte aan te passen en het bijbehorende nauwkeurige filterbereik wordt weergegeven op de kleurenbalk.
3. Het bouwen van een 3D digitaal model voor een specifieke knobbel
OPMERKING: Het segmentnummer is een parameter van de functie 3D_Nodules, die een digitaal 3D-model reconstrueert dat vanuit elk perspectief kan worden bekeken.
- Om het segmentnummer te bepalen, zoals in figuur 3, controleert u rechtsboven in de schuifbalk; in figuur 3 is het segmentnummer 70. Gebruik de functie Build_3D_Nodules met twee parameters, waaronder het segmentnummer en het thoracale volume dat in stap 1.3 is gemaakt, om een digitaal 3D-model voor specifieke knobbeltjes te reconstrueren. Dit is een door de gebruiker gedefinieerd model, omdat het invoersegmentnummer variabel is en afhankelijk is van de gebruiker.
- Als de functie Build_3D_Nodules correct wordt uitgevoerd, kan de gebruiker de longknobbel in een bepaald segmentnummer vanuit verschillende perspectieven in de pop-up-GUI controleren (figuur 4). Voer hiervoor de volgende acties uit:
- Houd de linkermuisknop ingedrukt, zoals in het midden van figuur 4, en sleep deze in elke richting om het perspectief van de longknobbels te wijzigen. Opgemerkt moet worden dat de observatiehoek rekening moet houden met de anatomische overwegingen en moet proberen zowel de medische kenmerken van de longknobbels als de relatie tussen de knobbeltjes en de omliggende weefsels aan te tonen.
- Gebruik de zoom- en verplaatspictogrammen in de rechterbovenhoek, zoals gedaan in Figuur 3. Bovendien kan de gebruiker door met de middelste muisknop te rollen continu in- of uitzoomen op de weergave van het model.
- De GUI in figuur 4 toont de coördinaatindicatie van het model in de linkerbenedenhoek, waarbij de positieve richting op de z-as de scanrichting in de horizontale positie is. Implementeer de screenshot-tool van het besturingssysteem om de vereiste 3D-projectie van de knobbeltjes op te slaan.
4. Digitaal model van een coronale 3D-reconstructie
OPMERKING: Het Build_3Dlung_Coronal subproces wordt uitgevoerd om pulmonale knobbeltjes te evalueren vanuit een alternatief coronaal perspectief, waardoor clinici en patiënten worden geholpen bij het ontwikkelen van een nauwkeuriger en inclusiever begrip van de locatie en kenmerken van de knobbeltjes.
- Implementeer de Build_3Dlung_Coronal functie op de MATLAB-werkplek om het digitale 3D-model van longknobbels onder het filtervenster van de long te reconstrueren en open vervolgens de GUI, zoals voorbereid door de functie, om het coronale 3D-model te controleren (figuur 5).
- De GUI in figuur 5 toont een continue coronale 3D-longstructuur waarin verschillende soorten longknobbels en hun relatieve ruimtelijke relaties met het longweefsel duidelijk te zien zijn. Sleep de schuifbalk op de GUI met de muis om de continue coronale 3D-longstructuur te observeren.
- De rechterbovenhoek van de GUI, zoals weergegeven in afbeelding 5, bevat ook pictogrammen voor inzoomen, uitzoomen, terugkeren naar de globale weergave en het markeren van de coördinaten van de geselecteerde pixel. Gebruik deze functies om de lokale kenmerken van de laesies te observeren en om relevante 3D-structurele afbeeldingen te genereren. Markeer de pixelcoördinaten om de afstand tussen twee punten te berekenen, die vaak wordt gebruikt om de grootte van de knobbeltjes te meten.
- De standaardkleurenbalk is de jet-kleurenkaart, waarin de kleuren van blauw naar rood waarden van laag naar hoog vertegenwoordigen. Klik met de rechtermuisknop op de kleurenbalk in het pop-upmenu om de algemene grijze kleurenkaart te selecteren en de hele GUI opnieuw in te stellen.
- Als het filtervenster niet geschikt is, gebruikt u de linkermuisknop om omhoog en omlaag te slepen in het midden van de afbeelding om het vensterniveau aan te passen; Sleep naar links en rechts om de vensterbreedte aan te passen en het bijbehorende nauwkeurige filterbereik wordt weergegeven op de kleurenbalk.
5. Voer 3D-video uit voor dominante longknobbels
OPMERKING: Het omzetten van het optimale 3D digitale model van een longknobbel in een dynamische 3D-video stelt artsen en patiënten in staat om de aandoening beter te begrijpen en nauwkeurige beoordelingen te maken, wat vooral van cruciaal belang is voor het formuleren van effectieve behandelplannen.
- Bereid in de werkruimte het vereiste digitale 3D-model voor en visualiseer vooraf de relatieve ruimtelijke relaties tussen de longknobbels en het longweefsel dat vanuit verschillende hoeken moet worden weergegeven (figuur 3 en figuur 4).
- In dit onderzoek is Adobe Captivate 2019 gebruikt om alle GUI-interactieprocessen vast te leggen. Open om te beginnen de software en maak een nieuw schermopnameproject. Schakel de camera uit en het rode schermopnamebereikvak verschijnt voor het opnemen van alleen de schermbewerking. In dit onderzoek werd de versie 5.1 GUI in de doos opgenomen. Klik op de opnameknop om de GUI te bedienen en genereer een digitaal videobestand van de schermopname.
- Na het opnemen van de dynamische weergave van de longknobbels, keert u terug naar de besturingsomgeving van de software door op het pictogram in de taakbalk te klikken.
- Met behulp van de videopublicatiefunctie slaat u de opgenomen dynamische video van het digitale 3D-model van de longknobbels op. Klik op Bestand > Distribueer en configureer het pad voor bestandsopslag. Geef het bestand een naam en sla het gewenste digitale videobestand op.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Om de methode toepasbaar te maken op een breder scala aan apparaten, moet de stapelvolgorde van elke scan worden gereorganiseerd op basis van de interne coördinaten van het DICOM-bestandssysteem (figuur 1) om het juiste 3D-volume te genereren (figuur 2). Op basis van de nauwkeurige volumegegevens gebruikten we algoritmische continue reconstructie van de horizontale en coronale MIPs van de long van de patiënt (figuur 4 en
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
Verschillende LDCT-apparaten hebben aanzienlijke verschillen in de DICOM-afbeeldingsreeksen die ze uitvoeren, vooral in termen van het beheer van het bestandssysteem. Om het belangrijkste 3D-digitale model van een longknobbel in de latere stadia van het protocol te reconstrueren, is daarom de stap voor het voorbewerken van gegevens bijzonder belangrijk. In de fase van gegevensvoorbereiding en voorbewerking (stap 1.2.2) kan de z-ascoördinaat van de reeks correct worden gesorteerd met behulp van de volgorde in
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De softwaretool voor pulmonale knobbelmodelreconstructie, PulmonaryNodule, is commerciële software van de Beijing Intelligent Entropy Science & Technology Co Ltd. De intellectuele eigendomsrechten van deze softwaretool behoren toe aan het bedrijf. De auteurs hebben geen belangenconflicten bekend te maken.
Dankbetuigingen
Deze publicatie werd ondersteund door het Fifth National Traditional Chinese Medicine Clinical Excellent Talents Research Program, georganiseerd door de National Administration of Traditional Chinese Medicine (http://www.natcm.gov.cn/renjiaosi/zhengcewenjian/2021-11-04/23082.html).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| MATLAB | MathWorks | 2022B | Computing en visualisatie |
| Tools voor Modellering | Intelligent Entropy | PulmonaryNodule V1.0 | Beijing Intelligent Entropy Science & Technology Co Ltd. Modellering voor CT/MRI fusie |
Referenties
- Mazzone, P. J., Lam, L. Evaluating the patient with a pulmonary nodule: A review. JAMA. 327 (3), 264-273 (2022).
- MacMahon, H., et al. Guidelines for management of incidental pulmonary nodules detected on CT images: From the Fleischner Society 2017. Radiology. 284 (1), 228-243 (2017).
- Ather, S., Kadir, T., Gleeson, F. Artificial intelligence and radiomics in pulmonary nodule management: Current status and future applications. Clinical Radiology. 75 (1), 13-19 (2020).
- Bianconi, F., et al. Comparative evaluation of conventional and deep learning methods for semi-automated segmentation of pulmonary nodules on CT. Quantitative Imaging in Medicine and Surgery. 11 (7), 3286-3305 (2021).
- Christe, A., et al. Computer-aided diagnosis of pulmonary fibrosis using deep learning and CT images. Investigative Radiology. 54 (10), 627-632 (2019).
- Kim, Y., Park, J. Y., Hwang, E. J., Lee, S. M., Park, C. M. Applications of artificial intelligence in the thorax: A narrative review focusing on thoracic radiology. Journal of Thoracic Disease. 13 (12), 6943-6962 (2021).
- Schreuder, A., Scholten, E. T., van Ginneken, B., Jacobs, C. Artificial intelligence for detection and characterization of pulmonary nodules in lung cancer CT screening: Ready for practice. Translational Lung Cancer Research. 10 (5), 2378-2388 (2021).
- Gruden, J. F., Ouanounou, S., Tigges, S., Norris, S. D., Klausner, T. S. Incremental benefit of maximum-intensity-projection images on observer detection of small pulmonary nodules revealed by multidetector CT. American Journal of Roentgenology. 179 (1), 149-157 (2002).
- Guleryuz Kizil, P., Hekimoglu, K., Coskun, M., Akcay, S. Diagnostic importance of maximum intensity projection technique in the identification of small pulmonary nodules with computed tomography. Tuberk Toraks. 68 (1), 35-42 (2020).
- Valencia, R., et al. Value of axial and coronal maximum intensity projection (MIP) images in the detection of pulmonary nodules by multislice spiral CT: Comparison with axial 1-mm and 5-mm slices. European Radiology. 16, 325-332 (2006).
- Jabeen, N., Qureshi, R., Sattar, A., Baloch, M. Diagnostic accuracy of maximum intensity projection in diagnosis of malignant pulmonary nodules. Cureus. 11 (11), e6120(2019).
- Naeem, M., et al. Comparison of maximum intensity projection and volume rendering in detecting pulmonary nodules on multidetector computed tomography. Cureus. 13 (3), e14025(2021).
- Armato, S. G., et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans. Medical Physics. 38 (2), 915-931 (2011).
- Xie, Y., et al. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT. IEEE Transactions on Medical Imaging. 38 (4), 991-1004 (2018).
- Zheng, S., et al. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging. 39 (3), 797-805 (2019).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Herprints en machtigingen
