Name: Zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej (Wideo) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: Poznaj segmentację obrazów tomografii komputerowej oczodołów za pomocą głębokiego uczenia. Ta metoda umożliwia precyzyjne maskowanie struktur anatomicznych, poprawiając diagnostykę chorób orbitalnych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Ta praca była wspierana przez National Research Foundation of Korea (NRF), grant finansowany przez Ministerstwo Nauki i ICT Korei (MSIT) (numer: 2020R1C1C1010079). W przypadku zbioru danych CMC-ORBIT centralna Instytucjonalna Komisja Rewizyjna (IRB) Katolickiego Centrum Medycznego wydała zgodę (XC19REGI0076). Prace te były wspierane przez Fundusz Badawczy Uniwersytetu Hongik 2022.

Obecna praca została wykonana za zgodą Instytucjonalnej Komisji Rewizyjnej (IRB) Katolickiego Centrum Medycznego, a prywatność, poufność i bezpieczeństwo informacji zdrowotnych były chronione. Dane z orbitalnej tomografii komputerowej zostały zebrane (od zanonimizowanych ludzi) ze szpitali stowarzyszonych z College of Medicine, Katolickim Uniwersytetem Korei (CMC; Szpital St. Mary's Hospital w Seulu, Szpital Najświętszej Maryi Panny w Yeouido, Szpital Najświętszej Maryi Panny w Daejeon i Szpital św. Wincentego). Tomografia komputerowa orbity została wykonana w okresie od stycznia 2016 r. do grudnia 2020 r. Zestaw danych zawierał 46 oczodołowych skanów CT pobranych od koreańskich mężczyzn i kobiet w wieku od 20 do 60 lat. Środowisko uruchomieniowe (RTE) podsumowano w tabeli uzupełniającej 1.
1. Maskowanie gałki ocznej, nerwu wzrokowego i mięśni zewnątrzgałkowych na tomografii komputerowej oczodołu
<ol>
	<li>Uruchom program maskujący. 
	UWAGA: Program do maskowania (MediLabel, patrz Tabela Materiałów) to program do etykietowania obrazów medycznych do segmentacji, który wymaga kilku kliknięć i ma dużą szybkość.</li>
	<li>Załaduj orbitalną tomografię komputerową, klikając ikonę otwartego pliku i wybierając docelowy plik CT. Następnie na ekranie wyświetlane są skany tomografii komputerowej.</li>
	<li>Zamaskuj gałkę oczną, nerw wzrokowy i mięśnie zewnątrzgałkowe za pomocą super pikseli.
	<ol>
		<li>Uruchom SmartPencil, klikając kreator SmartPencil w MediLabel (Wideo 1).</li>
		<li>W razie potrzeby kontroluj rozdzielczość mapy superpikseli (np. 100, 500, 1 000 i 2 000 super pikseli).</li>
		<li>Kliknij klaster super pikseli gałki ocznej, nerwu wzrokowego i mięśni zewnątrzgałkowych na mapie superpikseli, gdzie zgrupowane są piksele o podobnych wartościach intensywności obrazu.</li>
	</ol>
	</li>
	<li>Dopracuj maski za pomocą funkcji autokorekty w MediLabel.
	<ol>
		<li>Kliknij kreatora SmartFill po zamaskowaniu niektórych super pikseli na plasterkach (Wideo 2).</li>
		<li>Kliknij ikonę Autokorekty i upewnij się, że zostały obliczone skorygowane etykiety maski (Wideo 3).</li>
	</ol>
	</li>
	<li>Powtarzaj kroki 1.3 i 1.4, aż do zakończenia udoskonalania maskowania.</li>
	<li>Zapisz zamaskowane obrazy.</li>
</ol>
2. Przetwarzanie wstępne: przycinanie okien i przycinanie VOI
<ol>
	<li>Wyodrębnij VOI za pomocą preprocessing_multilabel.py (plik można pobrać z GitHub).
	<ol>
		<li>Uruchom preprocessing_multilabel.py.</li>
		<li>Sprawdź skany i maski, które zostały przycięte i zapisane w folderze VOIs.</li>
	</ol>
	</li>
	<li>Przekształć VOI w zestaw trzech sekwencyjnych wycinków CT dla danych wejściowych do SEQ-UNET za pomocą builder_multilabel.py (plik można pobrać z GitHub).
	<ol>
		<li>Uruchom sequence_builder_multilabel.py.</li>
		<li>Upewnij się, że rozmiar plasterków i masek został zmieniony na 64 piksele na 64 piksele podczas transformacji.</li>
		<li>Podczas transformacji wykonaj przycinanie z poziomem przycinania 48 HU i oknem 400 HU.</li>
		<li>Sprawdź zapisane przekształcone skany CT (plik nii) i maski (plik nii) odpowiednio w folderze skanowania i folderze maski w folderach wstępnie przetworzonych.</li>
	</ol>
	</li>
</ol>
3. Cztery walidacje krzyżowe modelu segmentacji orbitalnej
<ol>
	<li>Skompiluj model, wykonując poniższe czynności.
	<ol>
		<li>Uruchom main.py.</li>
		<li>Podczas uruchamiania main.py podaj liczbę krotności czterech krzyżowych walidacji za pomocą "-krotnej liczby x", gdzie x to 0, 1, 2 lub 3.</li>
		<li>Podczas uruchamiania main.py użyj epoki, która jest liczbą iteracji trenowania, jako opcji, takiej jak "-epoch x", gdzie x jest numerem epoki. Domyślna liczba to 500.</li>
		<li>Podczas uruchamiania main.py ustaw rozmiar partii, czyli liczbę próbek treningowych w jednej sesji treningowej. Domyślna liczba to 32.</li>
		<li>W main.py załaduj skany i maski CT, a następnie zainicjuj SEQ-UNET z wstępnie wytrenowanymi parametrami, korzystając z zestawu danych LIDC-IDRI (do pobrania z archiwum obrazowania raka).</li>
		<li>W main.py przeprowadź testowanie modelu po trenowaniu. Oblicz metryki oceny, wynik kości i podobieństwo woluminu, a następnie zapisz je w folderze metryk.</li>
		<li>Sprawdź wyniki w folderze podzielonym na segmenty.</li>
	</ol>
	</li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

Autorzy deklarują brak konfliktu interesów.

Analiza obrazu medycznego oparta na głębokim uczeniu jest szeroko stosowana do wykrywania chorób. W dziedzinie okulistyki modele wykrywania i segmentacji są stosowane w retinopatii cukrzycowej, jaskrze, zwyrodnieniu plamki żółtej związanym z wiekiem i retinopatii wcześniaków. Jednak inne choroby rzadkie, poza tymi w okulistyce, nie zostały zbadane ze względu na ograniczony dostęp do dużych, otwartych, publicznych zbiorów danych do analizy głębokiego uczenia. Stosując tę metodę w sytuacjach, gdy nie jest dostępny żaden publiczny zbiór danych, nie da się uniknąć etapu maskowania, który jest pracochłonnym i czasochłonnym zadaniem. Jednak proponowany etap maskowania (sekcja protokołu, krok 1) pomaga wygenerować maskowanie z dużą dokładnością w krótkim czasie. Korzystając z superpikseli i wypełnienia opartego na sieciach neuronowych, które grupują piksele podobne w właściwościach obrazu niskiego poziomu, lekarze mogą oznaczać maski, klikając grupy pikseli zamiast wskazywać określone piksele. Ponadto funkcje automatycznej korekcji pomagają udoskonalić procesy maski. Wydajność i skuteczność tej metody pomoże w generowaniu większej liczby zamaskowanych obrazów w badaniach medycznych.
Wśród wielu możliwości przetwarzania wstępnego, ekstrakcja VOI i przycinanie okien są skutecznymi metodami. W tym miejscu wyodrębnianie VOI i przycinanie okien są wprowadzane w kroku 2 protokołu. Kiedy klinicyści przygotowują zbiór danych, wyodrębnienie VOI z danego zestawu danych jest najważniejszym krokiem w procesie, ponieważ większość przypadków segmentacji koncentruje się na małych i specyficznych regionach w całym obrazie medycznym. Jeśli chodzi o VOI, obszary gałki ocznej, nerwu wzrokowego i mięśni zewnątrzgałkowych są przycinane w zależności od lokalizacji, ale bardziej skuteczne metody ekstrakcji VOI mogą potencjalnie poprawić wydajność segmentacji14. 
Do segmentacji w badaniu wykorzystano SEQ-UNET. Obrazy medyczne 3D mają dużą objętość, więc modele głębokich sieci neuronowych wymagają dużej pojemności pamięci. W SECO-UNET model segmentacji jest implementowany z niewielką liczbą wycinków w celu zmniejszenia wymaganego rozmiaru pamięci bez utraty funkcji informacji 3D. 
Model został wytrenowany za pomocą 46 VOI, co nie jest dużą liczbą w przypadku trenowania modelu. Ze względu na niewielką liczbę zestawów danych treningowych wydajność segmentacji nerwu wzrokowego i mięśni zewnątrzgałkowych jest ograniczona. Uczenie transferowe15 i adaptacja domeny8 mogą stanowić rozwiązanie poprawiające wydajność segmentacji.
Cały przedstawiony tu proces segmentacji nie ogranicza się do segmentacji oczodołowej tomografii komputerowej. Wydajna metoda etykietowania pomaga utworzyć nowy zestaw danych obrazów medycznych dla sytuacji, gdy domena aplikacji jest unikalna dla obszaru badawczego. Kody Pythona GitHub dotyczące modelowania wstępnego przetwarzania i segmentacji można zastosować do innych domen z modyfikacją regionu przycinania, poziomu przycinania okien i hiperparametrów modelu, takich jak liczba sekwencyjnych wycinków, architektury U-Net i tak dalej.

Orbita to mała i skomplikowana przestrzeń o długości około 30,1cm3, która zawiera ważne struktury, takie jak gałka oczna, nerwy, mięśnie zewnątrzgałkowe, tkanki podporowe oraz naczynia do widzenia i ruchów gałek ocznych1. Guzy oczodołu to nieprawidłowe narośla tkankowe w oczodole, a niektóre z nich zagrażają widzeniu pacjentów lub ruchom gałek ocznych, co może prowadzić do śmiertelnej dysfunkcji. Aby zachować funkcje wzrokowe pacjentów, klinicyści muszą decydować o metodach leczenia w oparciu o charakterystykę guza, a biopsja chirurgiczna jest na ogół nieunikniona. Ten zwarty i zatłoczony obszar często utrudnia lekarzom wykonanie biopsji bez uszkodzenia normalnej struktury. Oparta na głębokim uczeniu analiza obrazu patologii w celu określenia stanu oczodołu może pomóc w uniknięciu niepotrzebnych lub możliwych do uniknięcia uszkodzeń tkanek oczodołu podczas biopsji2. Jedną z metod analizy obrazu guzów oczodołu jest wykrywanie i segmentacja guza. Jednak gromadzenie dużych ilości danych dla obrazów CT zawierających guzy oczodołu jest ograniczone ze względu na ich niską częstość występowania3. Inna skuteczna metoda obliczeniowej diagnozy nowotworu4 polega na porównaniu guza z normalnymi strukturami oczodołu. Liczba obrazów TK oczodołu w normalnych strukturach jest stosunkowo większa niż w nowotworach. Dlatego segmentacja normalnych struktur orbitalnych jest pierwszym krokiem do osiągnięcia tego celu.
To badanie przedstawia cały proces segmentacji struktury orbitalnej opartej na głębokim uczeniu, w tym gromadzenie danych, wstępne przetwarzanie i późniejsze modelowanie. Badanie ma być źródłem informacji dla klinicystów zainteresowanych wykorzystaniem obecnej metody do wydajnego generowania zamaskowanego zestawu danych oraz dla okulistów potrzebujących informacji na temat wstępnego przetwarzania i modelowania obrazów TK oczodołu. W artykule przedstawiono nową metodę segmentacji struktury orbitalnej i sekwencyjnego U-Net, sekwencyjny model segmentacji 2D oparty na reprezentatywnym rozwiązaniu głębokiego uczenia w U-Net do segmentacji obrazów medycznych. Protokół opisuje szczegółową procedurę segmentacji orbity, w tym (1) sposób użycia narzędzia maskującego do podstawowej prawdy segmentacji struktury orbity, (2) kroki wymagane do wstępnego przetwarzania obrazów orbitalnych oraz (3) sposób trenowania modelu segmentacji i oceny wydajności segmentacji.
Dla nadzorowanego uczenia się, czterech doświadczonych okulistów, którzy posiadali certyfikat zarządu przez ponad 5 lat, ręcznie opisało maski gałki ocznej, nerwu wzrokowego i mięśni zewnątrzgałkowych. Wszyscy okuliści korzystali z oprogramowania do maskowania (MediLabel, patrz Tabela materiałów), który wykorzystuje superrozdzielczość do skutecznego maskowania na skanach CT. Oprogramowanie maskujące ma następujące funkcje półautomatyczne: (1) SmartPencil, który generuje klastry map super pikseli o podobnych wartościach intensywności obrazu5; (2) SmartFill, który generuje maski segmentacji, obliczając funkcję energetyczną bieżącego pierwszego planu i tła6,7; oraz (3) Autokorekta, która sprawia, że obramowania masek segmentacji są czyste i spójne z oryginalnym obrazem. Przykładowe obrazy funkcji półautomatycznych są pokazane w Rysunek 1. Szczegółowe kroki ręcznego maskowania znajdują się w sekcji protokołu (krok 1).
Następnym krokiem jest wstępne przetworzenie skanów tomografii komputerowej orbity. Aby uzyskać interesujące nas objętości oczodołu (VOI), identyfikuje się obszary oczodołu, w których gałka oczna, mięśnie i nerwy znajdują się w normalnych warunkach, a następnie przycina się te obszary. Zestaw danych ma wysoką rozdzielczość, z rozdzielczością wokseli w płaszczyźnie <1 mm i grubością warstwy, więc proces interpolacji jest pomijany. Zamiast tego przycinanie okien odbywa się na poziomie przycinania 48 HU i oknie 400 HU. Po przycięciu i przycięciu okna generowane są trzy szeregowe wycinki VOI orbity dla modelu segmentacji input8. Sekcja protokołu (krok 2) zawiera szczegółowe informacje na temat etapów wstępnego przetwarzania.
U-Net9 jest powszechnie używanym modelem segmentacji dla obrazów medycznych. Architektura U-Net składa się z kodera, który wyodrębnia cechy obrazów medycznych, oraz dekodera, który semantycznie prezentuje cechy dyskryminacyjne. W przypadku zastosowania U-Net do skanów CT, warstwy konwolucyjne składają się z filtrów 3D10,11. Jest to wyzwanie, ponieważ obliczenia filtrów 3D wymagają dużej pojemności pamięci. Aby zmniejszyć zapotrzebowanie na pamięć dla 3D U-Net, zaproponowano SEQ-UNET8, w którym w U-Net używany jest zestaw sekwencyjnych wycinków 2D. Aby zapobiec utracie korelacji czasoprzestrzennych między wycinkami obrazu 2D tomografii komputerowej 3D, w podstawowej sieci U-Net zastosowano dwie dwukierunkowe konwolucyjne długoterminowe pamięci krótkie pamięci (C-LSTM)12. Pierwszy dwukierunkowy C-LSTM wyodrębnia korelacje międzywarstwowe na końcu enkodera. Drugi dwukierunkowy C-LSTM, po wyjściu dekodera, przekształca informacje o segmentacji semantycznej w wymiarach sekwencji wycinków w segmentację pojedynczego obrazu. Architektura SEQ-UNET jest pokazana na Rysunek 2. Kody implementacji są dostępne pod adresem github.com/SleepyChild1005/OrbitSeg, a użycie kodów jest szczegółowo opisane w sekcji protokołu (krok 3).

<table><tbody><tr>Link <td></td><td></td><td>do GitHub</td><td>github.com/SleepyChild1005/OrbitSeg</td></tr><tr><td>MediLabel</td><td>INGRADIENT (Seul, Korea)</td><td></td><td>promgram oprogramowania do etykietowania obrazów medycznych do segmentacji z mniejszą liczbą kliknięć i większą prędkością</td></tr><tr><td>SEQ-UNET</td><td></td><td></td><td>do pobrania z kreatora GitHub</td></tr><tr><td>SmartFil</td><td></td><td></td><td>w MediLabel&nbsp;</td></tr><tr><td>Rysik SmartPencil&nbsp;</td><td></td><td></td><td>kreator w MediLabel&nbsp;</td></tr></tbody></table>

zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

Ostatnio, modele segmentacji oparte na głębokim uczeniu są szeroko stosowane w dziedzinie okulistyki. W pracy przedstawiono pełny proces konstruowania modelu segmentacji orbitalnej tomografii komputerowej (CT) w oparciu o U-Net. Do uczenia nadzorowanego wymagany jest pracochłonny i czasochłonny proces. Wprowadzono metodę znakowania z superrozdzielczością w celu skutecznego maskowania prawdy o podstawach na orbitalnych obrazach CT. Ponadto ilość zainteresowania jest przycinana w ramach wstępnego przetwarzania zestawu danych. Następnie, po wyodrębnieniu interesujących objętości struktur orbitalnych, model segmentacji kluczowych struktur orbitalnego CT jest konstruowany przy użyciu U-Net, z sekwencyjnymi warstwami 2D, które są używane jako dane wejściowe i dwoma dwukierunkowymi konwolucyjnymi długotrwałymi krótkimi pamięciami w celu zachowania korelacji międzywarstwowych. Badanie to koncentruje się przede wszystkim na segmentacji gałki ocznej, nerwu wzrokowego i mięśni zewnątrzgałkowych. Ocena segmentacji ujawnia potencjalne zastosowanie segmentacji do orbitalnych obrazów CT przy użyciu metod głębokiego uczenia.

Do oceny ilościowej przyjęto dwie metryki oceny, które zostały wykorzystane w zadaniu segmentacji obrazów CT. Były to dwie metryki podobieństwa, w tym współczynnik Dice (DICE) oraz podobieństwo objętości (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN) 
VS (%) = 1 − |FN − FP|/(2 × TP + FP + FN)
gdzie TP, FP i FN oznaczają odpowiednio wartości prawdziwie dodatnie, fałszywie dodatnie i fałszywie ujemne, przy zadanych wynikach segmentacji oraz masce segmentacyjnej.
Wydajność modelu SEQ-UNET w segmentacji struktur oczodołu została oceniona za pomocą czterech walidacji krzyżowych. Wyniki przedstawiono w Tabeli 1. Segmentacja gałki ocznej z użyciem SEQ-UNET osiągnęła wynik dice score na poziomie 0,86 oraz VS na poziomie 0,83. Segmentacja mięśni zewnętrznych oka i nerwu wzrokowego wykazała niskie wartości dice score (odpowiednio 0,54 i 0,34). Dice score dla segmentacji gałki ocznej przekroczył 80%, ponieważ stanowiła ona znaczną część VOI i charakteryzowała się niewielką heterogenicznością pomiędzy skanami CT. Wyniki dice score dla mięśni zewnętrznych oka i nerwu wzrokowego były stosunkowo niskie, ponieważ rzadko pojawiały się one w objętości CT i występowały w relatywnie niewielkiej liczbie warstw CT. Jednakże wyniki podobieństwa wizualnego dla mięśni zewnętrznych oka i nerwu wzrokowego (odpowiednio 0,65 i 0,80) były wyższe niż ich wyniki dice score. Wynik ten wskazuje na niską specyficzność segmentacji. Ogólnie dice score oraz podobieństwo wizualne modelu SEQ-UNET dla segmentacji wszystkich podstruktur oczodołu wyniosły odpowiednio 0,79 i 0,82. Przykłady wizualnych wyników segmentacji struktur oczodołu przedstawiono na Rysunku 3. Na Rysunku 3A-C kolor niebieski oznacza przewidywany wynik segmentacji, a czerwony maskę prawdy podstawowej (ground truth). Na Rysunku 3D kolory czerwony, zielony i pomarańczowy oznaczają odpowiednio segmentację gałki ocznej, mięśni oka i nerwu.
<img alt="Sekwencja analizy tomografii komputerowej, obrazy przekrojowe mózgu, tabela porównawcza radiologii diagnostycznej." class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 1"> 
Rycina 1: Funkcje półautomatycznego maskowania. Maskowanie gałki ocznej, mięśni pozagałkowych i nerwu wzrokowego na obrazach TK oczodołów przy użyciu (A) SmartPencil, (B) SmartFill oraz (C) AutoCorrection. Maska gałki ocznej jest zaznaczana przez SmartPencil, który oblicza superpiksele warstw, a maska powstaje poprzez klikanie w superpiksele. Po kliknięciu niektórych superpikseli gałki ocznej, cała maska gałki ocznej może zostać obliczona przez SmartFill. W przypadku maskowania nerwu wzrokowego, doprecyzowanie maskowania jest wykonywane przez AutoCorrection. Gałki oczne zaznaczone kolorem niebieskim przedstawiono na (A) i (B). <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.</a>
<img alt="Porównanie tomografii komputerowej, staw ramienny, panele A-D, analiza z kodowaniem kolorami, badanie obrazowania medycznego." class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 2"> 
Rysunek 2: Architektura SEQ U-Net. Sekwencyjne przekroje 2D jako dane wejściowe i wyjściowe; dwa dwukierunkowe moduły C-LSTM zostały zastosowane na końcach bloków kodowania i dekodowania w oparciu o architekturę U-Net. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Segmentacja MRI; różnice anatomiczne; schemat; analiza stawu barkowego; obrazowanie medyczne; badanie porównawcze." class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 3"> 
Rysunek 3: Wyniki segmentacji struktur oczodołu. (A) Gałka oczna (etykieta 1), (B) mięśnie gałki ocznej (etykieta 2), (C) nerw wzrokowy (etykieta 3) oraz (D) wieloetykietowa segmentacja (etykiety 1, 2 i 3). Lewy obraz przedstawia VOI oczodołu, środkowy obraz to przewidywana segmentacja, a prawy obraz to prawda obiektywna (ground truth). Na obrazach (A), (B) i (C) kolor niebieski oznacza wynik przewidywanej segmentacji, a kolor czerwony maskę prawdy obiektywnej. Na obrazie (D) kolory czerwony, zielony i pomarańczowy oznaczają odpowiednio segmentację gałki ocznej, mięśni pozagałkowych oraz nerwu wzrokowego. Przewidywana segmentacja wykazała wysoką skuteczność (DICE: 0,86 vs 0,82) w przypadku gałki ocznej, ale niską skuteczność w przypadku mięśni pozagałkowych (DICE: 0,54 vs 0,65) i nerwu wzrokowego (DICE: 0,34 vs 0,8). <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td rowspan="2"></td>
			<td colspan="2">Wieloetykietowe</td>
			<td colspan="2">Etykieta 1 (Gałka oczna)</td>
			<td colspan="2">Etykieta 2 (Mięsień zewnętrzny oka)</td>
			<td colspan="2">Etykieta 3 (Nerw wzrokowy)</td>
		</tr>
		<tr>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
		</tr>
		<tr>
			<td>SEQ-UNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr>
	</tbody>
</table>
Tabela 1: Wyniki segmentacji dla wskaźnika DICE oraz podobieństwa wizualnego.Gałka oczna, która posiada stosunkowo dużą liczbę przekrojów, została dobrze zsegmentowana z wartością DICE wynoszącą 0,8, natomiast mięśnie pozagałkowe oraz nerw wzrokowy, które charakteryzują się małą liczbą przekrojów i kształtem liniowym, zostały zsegmentowane częściowo, z wartościami DICE odpowiednio 0,54 i 0,34,
Wideo 1: Kreator SmartPencil w programie do maskowania. Demonstracja adnotowania wielu pikseli w celu maskowania gałki ocznej. Zadania maskowania są uruchamiane jednym kliknięciem w zgrupowanych superpikselach. <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">Prosimy kliknąć tutaj, aby pobrać to wideo.</a>
Wideo 2: Kreator SmartFill w programie do maskowania. Demonstracja adnotowania wielu pikseli w celu maskowania gałki ocznej. Po wybraniu kilku pikseli w obszarze adnotacji, funkcja ta generuje pełne maski segmentacyjne o intensywnościach zbliżonych do wybranych pikseli. <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">Kliknij tutaj, aby pobrać to wideo.</a>
Wideo 3: Autokorekcja w programie do maskowania. Demonstracja automatycznej korekcji zamaskowanego piksela z wykorzystaniem algorytmu wstępnie wytrenowanej splotowej sieci neuronowej. <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">Prosimy kliknąć tutaj, aby pobrać to wideo.</a>
Tabela uzupełniająca 1: Środowisko uruchomieniowe (RTE) maskowania, wstępnego przetwarzania i modelowania segmentacji. <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">Kliknij tutaj, aby pobrać tę tabelę.</a>

Wprowadzono protokół segmentacji obiektów dla obrazów z orbitalnej tomografii komputerowej (CT). Metody oznaczania podstawowej prawdy struktur orbitalnych za pomocą superrozdzielczości, wyodrębniania objętości zainteresowania z obrazów CT i modelowania segmentacji wieloznacznikowej przy użyciu sekwencyjnej sieci U-Net 2D dla orbitalnych obrazów CT są wyjaśnione dla uczenia nadzorowanego.

Zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

W tym badaniu wprowadziliśmy protokół segmentacji obiektów dla obrazów orbitalnej tomografii komputerowej. Jest to pierwsza próba na świecie. Za pomocą tego programu możesz łatwo wykonać maskowanie dowolnej części anatomii w dowolnym miejscu.Wizualizuje i oszczędza Twój czas i wysiłek. Mamy nadzieję, że to badanie może być kamieniem węgielnym w diagnostyce chorób oczodołu, które są trudne do biopsji. Zacznij od uruchomienia programu do maskowania.Aby załadować orbitalną tomografię komputerową, kliknij ikonę otwartego pliku i wybierz docelowy plik CT. Aby zamaskować gałkę oczną, nerw wzrokowy i mięśnie zewnątrzgałkowe za pomocą superpikseli, uruchom SmartPencil, klikając kreator SmartPencil w MediLabel. Następnie w razie potrzeby kontroluj rozdzielczość mapy superpikseli i kliknij klaster superpikseli gałki ocznej, mięśni zewnątrzgałki ocznej i nerwu wzrokowego na mapie superpikselowej, gdzie grupowane są piksele o podobnych wartościach intensywności obrazu.Aby dopracować maski, kliknij kreatora SmartFill po zamaskowaniu niektórych superpikseli na plasterkach, a następnie kliknij ikonę Autokorekty i upewnij się, że zostały obliczone poprawione etykiety masek. Po zakończeniu udoskonalania maskowania zapisz zamaskowane obrazy. Uruchom skrypt Pythona do wstępnego przetwarzania i sprawdź skany i maski, które są przycięte i zapisane w folderze VOIs.Uruchom skrypt Pythona konstruktora sekwencji, aby przekształcić VOI w zestaw trzech sekwencyjnych wycinków CT, które mają być używane jako dane wejściowe dla sekwencji U-Net. Sprawdź zapisane, przekształcone skany i maski CT odpowiednio w folderze skanowania i folderze maski oraz folderach wstępnie przetworzonych. Aby zbudować model segmentacji orbitalnej, uruchom skrypt głównego języka Python.py i podaj liczby zagięć. Ustaw epokę, która jest liczbą iteracji trenowania, i ustaw rozmiar partii, który jest liczbą próbek treningowych w jednej sesji trenowania. Skrypt główny.py może działać bez analizatorów, w takim przypadku jest uruchamiany z wartościami domyślnymi. Przeprowadź testowanie modelu po trenowaniu i oblicz metryki oceny, takie jak wynik kości i podobieństwo woluminu. Na koniec sprawdź wyniki zapisane jako pliki obrazów.Segmentacja gałki ocznej przy użyciu sekwencji U-Net do segmentacji struktury oczodołu osiągnęła podobieństwo wizualne lub wynik VS wynoszący 0,83 i wysoki wynik kostki wynoszący 0,86, ponieważ zawierała dużą część VOI i niewielką heterogeniczność między skanami CT. Niski wynik w skali kości wynoszący 0,54 uzyskano dla segmentacji mięśni zewnątrzgałkowych i 0,34 dla nerwu wzrokowego, ponieważ rzadko pojawiały się one w objętości tomografii komputerowej i znajdowały się w stosunkowo niewielkiej liczbie wycinków tomografii komputerowej. Jednak wyniki podobieństwa wizualnego mięśni zewnątrzgałkowych i nerwu wzrokowego były wyższe niż ich wyniki w kostkach, co wskazuje, że swoistość segmentacji była niska.Ogólnie rzecz biorąc, segmentacja wszystkich podstruktur orbitalnych osiągnęła wynik kostki 0,79 i wynik podobieństwa wizualnego 0,82. W zależności od aplikacji rozmiar VOI i poziom przycinania okien mogą się różnić. Możesz zmodyfikować kod konstruktora sekwencji do innych wspaniałych celów.Ponadto można modyfikować hiperparametry trenowania modelu. Model został wytrenowany za pomocą 46 VOI, co nie jest dużą liczbą w przypadku trenowania modelu. Aby przezwyciężyć niską wydajność wynikającą z małej liczby zestawów danych treningowych, można zastosować uczenie transferowe i notację domeny.

application-deep-learning-based-medical-image-segmentation-via

Research

JoVE Journal

Engineering

Inżynieria

To jest metoda trenowania wielowarstwowego U-Net do wieloklasowej segmentacji tomogramów krioelektronowych przy użyciu części jednego tomogramu jako danych wejściowych do treningu. Opisujemy, jak wywnioskować tę sieć z innymi tomogramami i jak wyodrębnić segmentacje do dalszych analiz, takich jak uśrednianie subtomogramu i śledzenie włókien.

Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Medycyna spersonalizowana do rekonstrukcji oczodołu rozwija się szybko. Ze względu na delikatną naturę oczodołu, niewielkie rozbieżności po rekonstrukcji złamania mogą powodować upośledzenie percepcji wzrokowej. W tym miejscu opisujemy trzy metody wirtualnej rekonstrukcji 3D defektów orbity oraz ich wskazania i potencjalne pułapki dla prawidłowej rekonstrukcji.

Trójwymiarowa rekonstrukcja złamań oczodołu

Tomografia krioelektronowa (cryo-ET) umożliwia wizualizację 3D ultrastruktury komórkowej w rozdzielczości nanometrów, ale ręczna segmentacja pozostaje czasochłonna i skomplikowana. Przedstawiamy nowatorski przepływ pracy, który integruje zaawansowane oprogramowanie rzeczywistości wirtualnej do segmentacji tomogramów krio-ET, pokazując jego skuteczność poprzez segmentację mitochondriów w komórkach ssaków.

Wykorzystanie rzeczywistości wirtualnej do immersyjnej segmentacji i analizy danych z tomografii krioelektronowej

Opracowanie zautomatyzowanego procesu wykrywania przestrzeni stawów umożliwiło segmentację o wysokiej przepustowości różnych kości tylnej łapy myszy z dokładnością &gt;98% u zwierząt typu dzikiego. Osiągnięto elastyczne zastosowanie na przednich łapach i łapach z zapalno-erozyjnym zapaleniem stawów, ale z osłabioną wydajnością, co wymaga dalszej optymalizacji w przyszłych badaniach na podstawie publicznie dostępnych danych.

Automatyczne wykrywanie przestrzeni stawowej poprawia dokładność segmentacji kości

Opisano system echoskopowej welocymetrii obrazowej cząstek (EPIV), który umożliwia pozyskiwanie dwuwymiarowych pól prędkości w płynach nieprzezroczystych optycznie lub przez geometrie nieprzezroczyste optycznie, oraz przedstawiono pomiary walidacyjne w przepływie w rurze.

Echo Particle Image Velocimetry

Procedura badania przepływów przejściowych w pobliżu granic za pomocą wysokiej rozdzielczości, szybkiej prędkości obrazowania cząstek (PIV) jest opisana tutaj. PIV to nieinwazyjna technika pomiarowa mająca zastosowanie do każdego optycznie dostępnego przepływu poprzez optymalizację kilku ograniczeń parametrów, takich jak właściwości obrazu i zapisu, właściwości arkusza laserowego i algorytmy analizy.

Szybkie obrazowanie cząstek w pobliżu powierzchni

Przedstawiono przepływ pracy dla kompleksowej mikrocharakterystyki aktywnych urządzeń optycznych. Zawiera badania strukturalne i funkcjonalne za pomocą tomografii komputerowej, LM i SEM. Metoda jest zademonstrowana dla białej diody LED, która może być nadal obsługiwana podczas charakteryzacji.

Dogłębne analizy diod LED za pomocą kombinacji rentgenowskiej tomografii komputerowej (CT) i mikroskopii świetlnej (LM) skorelowane ze skaningową mikroskopią elektronową (SEM)

Przedstawiamy protokoły do wykorzystania w pomiarze wielkości kropel oprysku z dysz rolniczych używanych zarówno w powietrznych, jak i naziemnych zastosowaniach agrochemicznych. Przedstawione metody zostały opracowane w celu zapewnienia spójnych i powtarzalnych danych dotyczących wielkości kropel zarówno między laboratoriami, jak i wewnątrz laboratorium, przy użyciu systemów dyfrakcji laserowej.

Pomiar wielkości kropli cieczy roboczej z dysz rolniczych za pomocą dyfrakcji laserowej

Protokół neuroprotekcyjnej aplikacji niskodawkowego leczenia plazmą atmosferyczną w przypadku urazów SH-SY5Y wywołanych deprywacją glukozy.

Nowe zastosowanie strumienia plazmy pod ciśnieniem atmosferycznym jako środka neuroprotekcyjnego przeciwko uszkodzeniom komórek SH-SY5Y wywołanym deprywacją glukozy

Ten manuskrypt opisuje nowatorską procedurę konfiguracji i obsługi mikroskopii fotoakustycznej i optycznej koherentnej tomografii dual-modality do nieinwazyjnego, bezznacznikowego obrazowania kosmówkowo-siatkówkowego większych zwierząt, takich jak króliki.

Nowatorska mikroskopia fotoakustyczna i optyczna tomografia koherentna Obrazowanie naczyniówkowe siatkówki dwumodalnej w żywych oczach królika

Poznaj segmentację obrazów tomografii komputerowej oczodołów za pomocą głębokiego uczenia. Ta metoda umożliwia precyzyjne maskowanie struktur anatomicznych, poprawiając diagnostykę chorób orbitalnych.

Zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej

Przeglądaj więcej filmów