Name: 궤도 컴퓨터 단층 촬영 을 통한 딥러닝 기반 의료 영상 분할 적용 (동영상) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: 학습하세요 궤도 CT 영상에서 딥러닝 기반 의료 영상 분할 방법을. 2D 순차 U-Net 모델과 초해상도 기법을 활용하여 안구, 시신경, 외안근을 정확하게 분할하고 안와 질환 진단의 효율성을 높이는 프로토콜을 익히세요.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

이 연구는 한국과학기술정보통신부(MSIT)가 지원하는 한국연구재단(NRF)의 지원으로 이루어졌다(번호: 2020R1C1C1C1010079). CMC-ORBIT 데이터 세트의 경우 가톨릭 의료 센터의 중앙 기관 검토위원회 (IRB)가 승인 (XC19REGI0076)을 제공했습니다. 이 연구는 2022 홍익대학교 연구기금의 지원을 받았습니다.

현재 작업은 가톨릭 의료 센터의 기관 검토위원회 (IRB)의 승인을 받아 수행되었으며 건강 정보의 개인 정보, 기밀 유지 및 보안이 보호되었습니다. 궤도 CT 데이터는 가톨릭대학교 의과대학 부속 병원(CMC; 서울성모병원, 여의도성모병원, 대전성모병원, 성빈센트병원). 궤도 CT 스캔은 2016년 1월부터 2020년 12월까지 획득되었습니다. 데이터 세트에는 20세에서 60세 사이의 한국 남성과 여성의 궤도 CT 스캔 46개가 포함되어 있습니다. 런타임 환경(RTE)은 보충 표 1에 요약되어 있습니다.
1. 안와 CT 스캔에서 안구, 시신경 및 외안근 마스킹
<ol><li>마스킹 소프트웨어 프로그램을 실행합니다. 참고: 마스킹 소프트웨어 프로그램(MediLabel, 재료 표 참조)은 세분화를 위한 의료 이미지 라벨링 소프트웨어 프로그램으로 몇 번의 클릭이 필요하고 속도가 빠릅니다.</li>
	<li>파일 열기 아이콘을 클릭하고 대상 CT 파일을 선택하여 궤도 CT를 로드합니다. 그런 다음 CT 스캔이 화면에 표시됩니다.</li>
	<li>슈퍼 픽셀을 사용하여 안구, 시신경 및 외안근을 마스킹합니다.<ol><li>메디라벨에서 스마트펜슬 마법사를 클릭하여 스마트펜슬 을 실행합니다(동영상 1).</li>
		<li>필요한 경우 슈퍼 픽셀 맵의 해상도를 제어합니다(예를 들어, 100, 500, 1,000 및 2,000 슈퍼 픽셀).</li>
		<li>유사한 이미지 강도 값의 픽셀이 클러스터링되는 슈퍼 픽셀 맵에서 안구, 시신경 및 외안근의 슈퍼 픽셀 클러스터를 클릭합니다.</li>
	</ol></li>
	<li>메디라벨의 자동 보정 기능으로 마스크를 다듬습니다.<ol><li>슬라이스의 일부 슈퍼 픽셀을 마스킹한 후 SmartFill 마법사를 클릭합니다(비디오 2).</li>
		<li>자동 수정 아이콘을 클릭하고 수정된 마스크 레이블이 계산되었는지 확인합니다(비디오 3).</li>
	</ol></li>
	<li>마스킹 미세 조정이 완료될 때까지 1.3단계와 1.4단계를 반복합니다.</li>
	<li>마스크된 이미지를 저장합니다.</li>
</ol>2. 전처리: VOI 창 자르기 및 자르기
<ol><li>preprocessing_multilabel.py 사용하여 VOI를 추출합니다(파일은 GitHub에서 다운로드할 수 있음).<ol><li>preprocessing_multilabel.py 실행합니다.</li>
		<li>잘려서 VOI 폴더에 저장된 스캔 및 마스크를 확인합니다.</li>
	</ol></li>
	<li>VOI를 SEQ-UNET에 대한 입력을 위해 3개의 순차 CT 슬라이스 세트로 변환builder_multilabel.py(파일은 GitHub에서 다운로드 가능).<ol><li>sequence_builder_multilabel.py 실행합니다.</li>
		<li>변환하는 동안 슬라이스와 마스크의 크기가 64픽셀 x 64픽셀로 조정되는지 확인합니다.</li>
		<li>변환하는 동안 48 HU 클리핑 레벨과 400 HU 윈도우를 사용하여 클리핑을 수행합니다.</li>
		<li>저장된 변환 CT 스캔(nii 파일)과 마스크(nii 파일)를 스캔 폴더와 전처리된 폴더 아래의 마스크 폴더에서 각각 확인합니다.</li>
	</ol></li>
</ol>3. 궤도 분할 모델의 네 가지 교차 검증
<ol><li>아래 단계에 따라 모델을 빌드합니다.<ol><li>main.py 실행합니다.</li>
		<li>main.py 실행할 때 4개의 교차 검증의 접기 수를 "-fold num x"로 지정합니다(여기서 x는 0, 1, 2 또는 3임).</li>
		<li>main.py 실행할 때 훈련 반복 횟수인 epoch를 옵션으로 사용합니다(예: "-epoch x"(여기서 x는 epoch 번호임). 기본 숫자는 500입니다.</li>
		<li>main.py 실행할 때 배치 크기(단일 훈련 세션의 훈련 샘플 수)를 설정합니다. 기본 숫자는 32입니다.</li>
		<li>main.py CT 스캔과 마스크를 로드하고 LIDC-IDRI 데이터 세트(암 영상 아카이브에서 다운로드 가능)를 사용하여 사전 훈련된 매개변수로 SEQ-UNET을 초기화합니다.</li>
		<li>main.py 에서는 학습 후 모델 테스트를 수행합니다. 평가 메트릭, 주사위 점수 및 볼륨 유사성을 계산하고 메트릭 폴더에 저장합니다.</li>
		<li>분할된 폴더에서 결과를 확인합니다.</li>
	</ol></li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

저자는 이해 상충이 없음을 선언합니다.

딥러닝 기반 의료 영상 분석은 질병 검출에 널리 사용됩니다. 안과 영역에서 검출 및 분할 모델은 당뇨병 성 망막증, 녹내장, 연령 관련 황반 변성 및 미숙아 망막 병증에 사용됩니다. 그러나 안과 이외의 다른 희귀 질환은 딥 러닝 분석을 위한 대규모 공개 데이터 세트에 대한 액세스가 제한되어 있기 때문에 연구되지 않았습니다. 공용 데이터 세트를 사용할 수 없는 상황에서 이 방법을 적용할 때 노동 집약적이고 시간이 많이 소요되는 작업인 마스킹 단계는 불가피합니다. 그러나 제안 된 마스킹 단계 (프로토콜 섹션, 단계 1)는 짧은 시간 내에 높은 정확도로 마스킹을 생성하는 데 도움이됩니다. 저수준 이미지 속성에서 유사한 픽셀을 클러스터링하는 슈퍼 픽셀과 신경망 기반 채우기를 사용하여 임상의는 특정 픽셀을 가리키는 대신 픽셀 그룹을 클릭하여 마스크에 레이블을 지정할 수 있습니다. 또한 자동 보정 기능은 마스크 프로세스를 개선하는 데 도움이 됩니다. 이 방법의 효율성과 효과는 의학 연구에서 더 많은 마스킹 이미지를 생성하는 데 도움이 됩니다.
전처리의 많은 가능성 중에서 VOI 추출 및 창 클리핑이 효과적인 방법입니다. 여기에서는 프로토콜의 2단계에서 VOI 추출 및 창 클리핑을 소개합니다. 임상의가 데이터 세트를 준비할 때 대부분의 세분화 사례가 전체 의료 이미지의 작고 특정 영역에 초점을 맞추기 때문에 주어진 데이터 세트에서 VOI를 추출하는 것이 프로세스에서 가장 중요한 단계입니다. VOI와 관련하여, 안구, 시신경 및 외안근의 영역은 위치에 기초하여 잘려지지만, VOI를 추출하기 위한 보다 효과적인 방법은 분할 성능을 향상시킬 수 있는 잠재력을 갖는다(14). 
세분화를 위해 SEQ-UNET이 연구에 사용됩니다. 3D 의료 영상은 부피가 크므로 심층 신경망 모델에는 큰 메모리 용량이 필요합니다. SEQ-UNET에서 분할 모델은 3D 정보의 특징을 잃지 않고 필요한 메모리 크기를 줄이기 위해 적은 수의 슬라이스로 구현됩니다. 
모델은 46개의 VOI로 훈련되었으며, 이는 모델 훈련에 많은 수가 아닙니다. 훈련 데이터 세트의 수가 적기 때문에 시신경 및 외안근 분할의 성능이 제한됩니다. 전이 학습(15 ) 및 도메인 적응(8)은 분할 성능을 향상시키기 위한 솔루션을제공할 수 있다 .
여기에 소개 된 전체 분할 프로세스는 궤도 CT 분할에만 국한되지 않습니다. 효율적인 라벨링 방법은 애플리케이션 도메인이 연구 영역에 고유한 경우에 대한 새로운 의료 영상 데이터 세트를 생성하는 데 도움이 됩니다. 전처리 및 세분화 모델링과 관련된 GitHub의 Python 코드는 자르기 영역, 창 클리핑 수준 및 모델 하이퍼 매개 변수(예: 순차 슬라이스 수, U-Net 아키텍처 등)를 수정하여 다른 도메인에 적용할 수 있습니다.

궤도는 시력 및 안구 운동1을 위한 안구, 신경, 외안근, 지지 조직 및 혈관과 같은 중요한 구조를 포함하는 약 30.1cm3의 작고 복잡한 공간입니다. 안와 종양은 안와에서 비정상적인 조직 성장이며, 그 중 일부는 환자의 시력이나 안구 움직임을 위협하여 치명적인 기능 장애를 유발할 수 있습니다. 환자의 시각 기능을 보존하기 위해 임상의는 종양 특성에 따라 치료 방식을 결정해야 하며 일반적으로 외과적 생검은 불가피합니다. 이 작고 붐비는 지역은 종종 임상의가 정상적인 구조를 손상시키지 않고 생검을 수행하는 것을 어렵게 만듭니다. 궤도의 상태를 결정하기 위한 병리학의 딥러닝 기반 이미지 분석은 생검 2 동안 안와 조직에 불필요하거나 피할 수 있는 손상을 방지하는 데 도움이 될 수있습니다. 안와 종양에 대한 이미지 분석의 한 가지 방법은 종양 검출 및 분할입니다. 그러나, 안와 종양을 포함하는 CT 영상에 대한 많은 양의 데이터 수집은 이들의 낮은발생률로 인해 제한적이다3. 전산 종양 진단4을 위한 다른 효율적인 방법은 종양을 궤도의 정상 구조와 비교하는 것을 포함한다. 정상 구조에서 궤도 CT 이미지의 수는 종양의 CT 이미지보다 상대적으로 많습니다. 따라서 정상 궤도 구조의 분할은이 목표를 달성하기위한 첫 번째 단계입니다.
이 연구는 데이터 수집, 전처리 및 후속 모델링을 포함한 딥러닝 기반 궤도 구조 분할의 전체 프로세스를 제시합니다. 이 연구는 현재 방법을 사용하여 마스킹된 데이터 세트를 효율적으로 생성하는 데 관심이 있는 임상의와 궤도 CT 이미지의 전처리 및 모델링에 대한 정보가 필요한 안과 의사를 위한 리소스입니다. 이 기사에서는 의료 영상 분할을 위한 U-Net의 대표적인 딥러닝 솔루션을 기반으로 하는 순차 2D 분할 모델인 궤도 구조 분할 및 순차 U-Net을 위한 새로운 방법을 제시합니다. 프로토콜은 (1) 궤도 구조 분할의 실측 자료를 위해 마스킹 도구를 사용하는 방법, (2) 궤도 이미지의 전처리에 필요한 단계, (3) 분할 모델을 훈련하고 분할 성능을 평가하는 방법을 포함하여 궤도 분할의 세부 절차를 설명합니다.
지도 학습을 위해 5 년 이상 보드 인증을받은 4 명의 숙련 된 안과 의사가 안구, 시신경 및 외안근의 마스크에 수동으로 주석을 달았습니다. 모든 안과 의사는 CT 스캔에서 효율적인 마스킹을 위해 초고해상도를 사용하는 마스킹 소프트웨어 프로그램(MediLabel, 재료 표 참조)을 사용했습니다. 마스킹 소프트웨어에는 다음과 같은 반자동 기능이 있습니다 : (1) 이미지 강도5의 유사한 값을 갖는 슈퍼 픽셀 맵 클러스터를 생성하는 SmartPencil; (2) SmartFill은 진행중인 전경 및 배경 6,7의 에너지 함수를 계산하여 분할 마스크를 생성합니다. (3) 자동 수정은 분할 마스크의 테두리를 깨끗하고 원본 이미지와 일치시킵니다. 반자동 기능의 예제 이미지는 그림 1에 나와 있습니다. 수동 마스킹의 자세한 단계는 프로토콜 섹션(1단계)에 나와 있습니다.
다음 단계는 궤도 CT 스캔의 전처리입니다. 관심 궤도 부피 (VOI)를 얻기 위해 안구, 근육 및 신경이 정상 상태에있는 궤도 영역을 식별하고 이러한 영역을 자릅니다. 데이터 세트는 평면 내 복셀 해상도와 슬라이스 두께가 <1mm인 고해상도를 가지므로 보간 프로세스를 건너뜁니다. 대신 창 클리핑은 48 HU 클리핑 수준과 400 HU 창에서 수행됩니다. 크롭핑 및 윈도우 클리핑 후에, 궤도 VOI의 3개의 직렬 슬라이스가 분할 모델 입력(8)에 대해 생성된다. 프로토콜 섹션(2단계)에서는 전처리 단계에 대한 세부 정보를 제공합니다.
U-Net9는 의료 영상에 널리 사용되는 분할 모델입니다. U-Net 아키텍처는 의료 영상의 특징을 추출하는 인코더와 차별적 특징을 의미적으로 제시하는 디코더로 구성됩니다. CT 스캔에 U-Net을 사용할 때 컨볼 루션 레이어는 3D 필터(10,11)로 구성됩니다. 이는 3D 필터의 계산에 큰 메모리 용량이 필요하기 때문에 어려운 일입니다. 3D U-Net에 대한 메모리 요구 사항을 줄이기 위해, 순차적 2D 슬라이스 세트가 U-Net에서 사용되는 SEQ-UNET8이 제안되었다. 3D CT 스캔의 2D 이미지 슬라이스 간의 시공간 상관 관계의 손실을 방지하기 위해 두 개의 양방향 컨볼루션 장기 단기 기억(C-LSTM)12이 기본 U-Net에 사용됩니다. 첫 번째 양방향 C-LSTM은 인코더 끝에서 슬라이스 간 상관 관계를 추출합니다. 두 번째 양방향 C-LSTM은 디코더의 출력 후 슬라이스 시퀀스 차원의 의미 론적 분할 정보를 단일 이미지 분할로 변환합니다. SEQ-UNET의 아키텍처는 그림 2에 나와 있습니다. 구현 코드는 github.com/SleepyChild1005/OrbitSeg 에서 사용할 수 있으며 코드 사용법은 프로토콜 섹션(3단계)에 자세히 설명되어 있습니다.

<table><tbody><tr><td>GitHub link</td><td></td><td></td><td>github.com/SleepyChild1005/OrbitSeg</td></tr><tr><td>MediLabel</td><td>INGRADIENT (서울, 한국)</td><td></td>MediLabel의 GitHub SmartFil <td></td></tr><tr><td></td><td></td><td></td> 마법사에서 다운로드 가능한 더 적은 클릭과 더 빠른 속도의 SEQ-UNET <td></td></tr><tr><td></td><td></td><td></td><td></td></tr> 으로 세분화를 위한 의료 이미지 라벨링 소프트웨어 프로그램&nbsp;<tr><td>스마트펜슬&nbsp;</td><td></td><td></td><td>MediLabel의 마법사&nbsp;</td></tr></tbody></table>

궤도 컴퓨터 단층 촬영 을 통한 딥러닝 기반 의료 영상 분할 적용

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

최근에는 딥러닝 기반 세분화 모델이 안과 분야에 널리 적용되고 있습니다. 이 연구는 U-Net을 기반으로 궤도 컴퓨터 단층 촬영 (CT) 분할 모델을 구성하는 전체 프로세스를 제시합니다. 지도 학습을 위해서는 노동 집약적이고 시간이 많이 소요되는 프로세스가 필요합니다. 궤도 CT 이미지에서 실측 자료를 효율적으로 마스킹하기 위해 초고해상도로 라벨링하는 방법이 소개되었습니다. 또한 관심 볼륨은 데이터 집합 전처리의 일부로 잘립니다. 그런 다음 궤도 구조의 관심 볼륨을 추출한 후 궤도 CT의 주요 구조를 분할하기 위한 모델을 U-Net을 사용하여 구성하고, 입력으로 사용되는 순차 2D 슬라이스와 슬라이스 간 상관 관계를 보존하기 위한 두 개의 양방향 컨볼루션 장기 단기 메모리를 사용합니다. 이 연구는 주로 안구, 시신경 및 외안근의 분할에 중점을 둡니다. 분할의 평가는 딥 러닝 방법을 사용하여 궤도 CT 이미지에 분할을 적용 할 가능성을 보여줍니다.

정량적 평가를 위해 CT 이미지 분할 작업에 사용 된 두 가지 평가 메트릭이 채택되었습니다. 이들은 주사위 점수(DICE)와 볼륨 유사성(VS)13을 포함한 두 가지 유사성 메트릭이었습니다.
주사위 (%) = 2 × TP / (2 × TP + FP + FN) VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
여기서 TP, FP 및 FN은 분할 결과와 분할 마스크가 주어질 때 각각 참 양성, 거짓 양성 및 거짓 음성 값을 나타냅니다.
궤도 구조 분할을 위한 SEQ-UNET의 성능은 4번의 교차 검증에 의해 평가되었습니다. 그 결과를 표 1에 나타내었다. SEQ-UNET을 사용한 안구 분할은 주사위 점수 0.86과 VS 0.83을 달성했습니다. 외안근과 시신경의 분할은 낮은 주사위 점수 (각각 0.54 및 0.34)를 달성했습니다. 안구 분할의 주사위 점수는 VOI의 많은 부분과 CT 스캔 간의 이질성이 거의 없었기 때문에 80% 이상이었습니다. 외안근과 시신경의 주사위 점수는 CT 볼륨에서 드물게 나타나고 상대적으로 적은 수의 CT 조각에서 발견되었기 때문에 상대적으로 낮았습니다. 그러나 외안근과 시신경의 시각적 유사성 점수(각각 0.65 및 0.80)는 주사위 점수보다 높았습니다. 이 결과는 세분화의 특이성이 낮았음을 나타냅니다. 전반적으로, 모든 궤도 하부 구조의 분할에 대한 주사위 점수 및 SEQ-UNET의 시각적 유사성은 각각 0.79 및 0.82였다. 궤도 구조 분할의 시각적 결과의 예는 그림 3에 나와 있습니다. 그림 3A-C에서 파란색은 예측된 분할 결과이고 빨간색은 실측 마스크입니다. 그림 3D에서 빨간색, 녹색 및 주황색은 각각 안구, 시신경 및 신경 분할입니다.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg"> 그림 1: 반자동 마스킹 기능 (A) SmartPencil, (B) SmartFill 및 (C) 자동 수정을 사용하여 궤도 CT 스캔에서 안구, 외안근 및 시신경을 마스킹합니다. 안구의 마스크는 슬라이스의 슈퍼 픽셀을 계산하는 SmartPencil로 레이블이 지정되며 마스크는 슈퍼 픽셀을 클릭하여 만들어집니다. 안구 슈퍼 픽셀 중 일부를 클릭하면 SmartFill로 전체 안구 마스크를 계산할 수 있습니다. 시신경을 마스킹하는 경우 마스킹 미세 조정은 자동 수정에 의해 이루어집니다. 파란색으로 표시된 안구는 (A)와 (B)에 표시되어 있습니다. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg"> 그림 2: SEQ U-Net 아키텍처. 입력 및 출력으로서의 순차적 2D 슬라이스; 두 개의 양방향 C-LSTM이 U-Net 아키텍처를 기반으로 인코딩 및 디코딩 블록의 끝에 적용됩니다. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg"> 그림 3: 궤도 구조의 분할 결과. (A) 안구 (라벨 1), (B) 시신경 (라벨 2), (C) 시신경 (라벨 3) 및 (D) 다중 라벨 (라벨 1, 2 및 3). 왼쪽 이미지는 궤도의 VOI, 중앙 이미지는 예측 된 분할, 오른쪽 이미지는 지상 실측입니다. (A), (B) 및 (C)에서 파란색은 예측된 분할 결과이고 빨간색은 실측 마스크입니다. (D)에서 빨간색, 녹색 및 주황색은 각각 안구, 외안근 및 시신경 분할입니다. 예측된 분할은 안구의 경우 높은 성능(DICE: 0.86 대 0.82)을 보였지만 외안근(DICE: 0.54 대 0.65) 및 시신경(DICE: 0.34 대 0.8)의 경우 낮은 성능을 보였습니다. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td rowspan="2"></td>
			<td colspan="2">멀티 라벨</td>
			<td colspan="2">라벨 1(안구)</td>
			<td colspan="2">라벨 2 (외안근)</td>
			<td colspan="2">라벨 3(시신경)</td>
		</tr><tr><td>주사위</td>
			<td>대</td>
			<td>주사위</td>
			<td>대</td>
			<td>주사위</td>
			<td>대</td>
			<td>주사위</td>
			<td>대</td>
		</tr><tr><td>증권 시세 표시기</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr></tbody></table>표 1: 주사위 점수 및 시각적 유사성에 대한 분할 결과. 슬라이스 수가 상대적으로 많은 안구는 DICE가 0.8로 잘 분할되었으나, 슬라이스 수와 선 모양이 적은 외안근과 시신경은 각각 0.54와 0.34의 DICE 값으로 부분적으로 분할되었다.
비디오 1: 마스킹 소프트웨어 프로그램의 스마트펜슬 마법사. 안구 마스킹을 위해 여러 픽셀에 주석을 추가하는 데모입니다. 마스킹 작업은 클러스터링된 슈퍼 픽셀을 한 번 클릭하면 활성화됩니다. <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">이 비디오를 다운로드하려면 여기를 클릭하십시오.</a>
비디오 2: 마스킹 소프트웨어 프로그램의 SmartFill 마법사. 안구 마스킹을 위해 여러 픽셀에 주석을 추가하는 데모입니다. 주석 영역에서 일부 픽셀을 선택한 후 이 기능은 선택한 픽셀과 비슷한 강도의 전체 분할 마스크를 생성합니다. <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">이 비디오를 다운로드하려면 여기를 클릭하십시오.</a>
동영상 3: 마스킹 소프트웨어 프로그램의 자동 수정. 미리 훈련된 컨벌루션 신경망 알고리즘을 사용하여 마스킹된 픽셀의 자동 수정을 시연합니다. <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">이 비디오를 다운로드하려면 여기를 클릭하십시오.</a>
보충 표 1: 마스킹, 전처리 및 분할 모델링의 런타임 환경(RTE). <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">이 표를 다운로드하려면 여기를 클릭하십시오.</a>

궤도 컴퓨터 단층 촬영(CT) 이미지를 위한 객체 분할 프로토콜이 도입되었습니다. 초고해상도를 사용하여 궤도 구조의 실측 라벨링, CT 이미지에서 관심 볼륨 추출, 궤도 CT 이미지에 대한 2D 순차 U-Net을 사용하여 다중 라벨 분할을 모델링하는 방법을 지도 학습을 위해 설명합니다.

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

우리는 이 연구에서 궤도 컴퓨터 단층 촬영 이미지에 대한 물체 분할 프로토콜을 도입했습니다. 세계 최초의 재판입니다. 이 프로그램을 사용하면 원하는 곳에서 쉽게 해부학 부분을 마스킹 할 수 있습니다.시간과 노력을 시각화하고 절약합니다. 이 연구가 생검이 어려운 궤도 질환 진단의 초석이 될 수 있기를 바랍니다. 마스킹 소프트웨어 프로그램을 실행하여 시작하십시오.궤도 CT를 로드하려면 파일 열기 아이콘을 클릭하고 대상 CT 파일을 선택합니다. 슈퍼픽셀을 사용하여 안구, 시신경 및 외안근을 마스킹하려면 MediLabel에서 스마트펜슬 마법사를 클릭하여 스마트펜슬을 실행합니다. 다음으로, 필요한 경우 슈퍼 픽셀 맵의 해상도를 제어하고 유사한 이미지 강도 값의 픽셀이 클러스터링되는 슈퍼 픽셀 맵에서 안구, 외안근 및 시신경의 수퍼 픽셀 클러스터를 클릭하십시오.마스크를 미세 조정하려면 슬라이스의 일부 수퍼 픽셀을 마스킹한 후 SmartFill 마법사를 클릭한 다음 자동 수정 아이콘을 클릭하고 수정된 마스크 레이블이 계산되었는지 확인합니다. 마스킹 미세 조정이 완료되면 마스크된 이미지를 저장합니다. 전처리를 위해 Python 스크립트를 실행하고 잘려서 VOIs 폴더에 저장된 스캔 및 마스크를 확인합니다.시퀀스 빌더 Python 스크립트를 실행하여 VOI를 시퀀스 U-Net의 입력으로 사용할 3개의 순차 CT 슬라이스 세트로 변환합니다. 스캔 폴더와 마스크 폴더 및 전처리된 폴더에서 저장, 변환된 CT 스캔과 마스크를 각각 확인합니다. 궤도 분할 모델을 빌드하려면 Python 스크립트 main을 실행합니다.py 및 접힌 숫자를 지정하십시오. 훈련 반복 횟수인 epoch를 설정하고 배치 크기(단일 훈련 세션의 훈련 샘플 수)를 설정합니다. 스크립트 메인.py는 파서 없이 실행할 수 있으며, 이 경우 기본값으로 실행됩니다. 훈련 후 모델의 테스트를 수행하고 주사위 점수 및 볼륨 유사성과 같은 평가 메트릭을 계산합니다. 마지막으로 이미지 파일로 저장된 결과를 확인합니다.궤도 구조 분할을 위해 시퀀스 U-Net을 사용한 안구 분할은 VOI의 많은 부분과 CT 스캔 간의 이질성이 거의 없기 때문에 0.83의 시각적 유사성 또는 VS 점수와 0.86의 높은 주사위 점수를 달성했습니다. 외안근의 분할에 대해 0.54, 시신경의 경우 0.34의 낮은 주사위 점수가 달성되었는데, 이는 CT 볼륨에서 드물게 나타나고 상대적으로 적은 수의 CT 조각에서 발견되었기 때문입니다. 그러나 외안근과 시신경의 시각적 유사성 점수는 주사위 점수보다 높았으며, 이는 분할의 특이성이 낮았음을 나타냅니다.전반적으로, 모든 궤도 하부 구조의 분할은 0.79의 주사위 점수와 0.82의 시각적 유사성 점수를 달성했습니다. 응용 프로그램에 따라 VOI의 크기와 창 캡처 수준이 다를 수 있습니다. 다른 훌륭한 목적을 위해 시퀀스 빌더 코드를 수정할 수 있습니다.또한 모델 학습을 위한 하이퍼파라미터를 수정할 수 있습니다. 모델은 46개의 VOI로 훈련되었으며, 이는 모델 훈련에 많은 수가 아닙니다. 적은 수의 훈련 데이터 세트로 인한 낮은 성능을 극복하기 위해 전이 학습 및 도메인 표기법을 적용할 수 있습니다.

application-deep-learning-based-medical-image-segmentation-via

Research

연구

JoVE Journal

Engineering

공학

자동화 된 중간 선 이동 추정 및 intracranial 압력 (ICP) 외상성 뇌 손상 (외상성 뇌 손상) 환자에 대한 계산 된 단층 촬영 (중부 표준시) 이미지를 기반으로 사전 심사 시스템은 이미지 처리 및 머신 학습 기술을 사용하여 제안합니다.

뇌 중부 표준시 이미지를 기반으로 자동 정중선 변화와 Intracranial 압력 추정

여기에 제시된 방법은 18 F-Fluorodeoxyglucose를 사용 (18 F-FDG) 양전자 방출 단층 촬영 / 전산화 단층 촬영 (PET-CT) 및 지방 물 분리 자기 공명 영상 (MRI), 각각 thermoneutral에 2 시간 노출 (24 ° C 다음 스캔 ) 및 성인 인간을 대상으로 갈색 지방 조직 (BAT)을지도하기 위해 추운 환경 (17 ° C).

인간의 갈색 지방 조직의 종점은 자동으로 양전자 방출 단층 촬영 / 전산화 단층 촬영 분단과 자기 공명 이미지 등록

이것은 하나의 단층 촬영의 일부를 훈련 입력으로 사용하여 극저온 전자 단층 촬영의 다중 클래스 분할을 위해 다중 슬라이스 U-Net을 훈련하는 방법입니다. 이 신경망을 다른 단층그램과 유추하는 방법과 서브토모그램 평균화 및 필라멘트 추적과 같은 추가 분석을 위해 분할을 추출하는 방법을 설명합니다.

Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

안와 재건을 위한 맞춤형 의학이 빠르게 발전하고 있습니다. 안와의 섬세한 특성으로 인해 골절 재건 후 작은 불일치가 시각적 지각에 손상을 일으킬 수 있습니다. 여기에서는 궤도 결함의 가상 3D 재구성을 위한 세 가지 방법과 올바른 재구성을 위한 적응증 및 잠재적 위험에 대해 설명합니다.

안와 골절의 3차원 재구성

초저온 전자 단층촬영(cryo-ET)을 사용하면 나노미터 분해능에서 세포 초미세 구조를 3D로 시각화할 수 있지만 수동 분할은 여전히 시간이 많이 걸리고 복잡합니다. 우리는 cryo-ET 단층촬영을 위한 고급 가상 현실 소프트웨어를 통합한 새로운 워크플로우를 제시하고, 포유류 세포의 미토콘드리아를 분할하여 그 효과를 보여줍니다.

초저온 전자 단층촬영(cryo-electron tomography) 데이터의 몰입형 세분화 및 분석을 위한 가상 현실 활용

자동화된 관절 공간 탐지 워크플로우 개발로 야생 동물에서 &gt;98%의 정확도로 뚜렷한 쥐 뒷발뼈의 고처리량 분할이 가능해졌습니다. 염증성 침식성 관절염이 있는 앞발과 발에 유연한 적용이 가능했으나, 성능 저하로 인해 공개된 데이터를 활용한 향후 연구에서 추가 최적화가 필요하다.

자동 관절 공간 탐지, 골 분할 정확도 향상

광학 불투명 유체 또는 광학적으로 불투명 한 형상을 통해 속도의 2 차원 필드를 습득 할 수있는 에코 입자 이미지 velocimetry (EPIV) 시스템이 설명되어 있으며, 파이프 흐름 검증 측정은보고됩니다.

입자 이미지 Velocimetry 에코

고해상도, 고속 입자 영상 유속계 (PIV)를 사용하여 경계 근처에 과도 흐름을 연구하는 절차는 여기에 설명되어 있습니다. PIV는 이미지와 기록 특성, 레이저 시트 속성 및 분석 알고리즘과 같은 여러 매개 변수 제약 조건을 최적화하여 모든 광학적 접근이 흐름에 적용 할 수있는 비 간섭 측정 기술입니다.

표면 근처 고속 입자 이미지 유속계

활성 광학 장치의 포괄적 인 마이크로 특성에 대한 워크 플로는 설명한다. 그것은 CT, LM 및 SEM에 의해 구조뿐만 아니라 기능적인 조사가 포함되어 있습니다. 이 방법은 여전히​​ 특성화 동안 작동 될 수있는 화이트 LED에 대해 설명된다.

(SEM) X 선 컴퓨터 단층 촬영 (CT) 및 주사 전자 현미경과 상관 광학 현미경 (LM)의 조합에 따라 LED를 깊이 분석에서

우리는 프로토콜은 공중 및 지상 기반 농약 애플리케이션 모두에서 사용되는 농업용 노즐로부터 분무 액적 크기의 측정에 사용되도록 제안한다. 제시된 이러한 방법은 레이저 회절 시스템을 사용하는 경우 상호 및 내부 기관 모두 일관성 있고 반복 가능한 액적 크기 데이터를 제공하기 위해 개발되었다.

레이저 회절을 사용하여 농업 노즐에서 측정 스프레이 물방울 크기

학습하세요 궤도 CT 영상에서 딥러닝 기반 의료 영상 분할 방법을. 2D 순차 U-Net 모델과 초해상도 기법을 활용하여 안구, 시신경, 외안근을 정확하게 분할하고 안와 질환 진단의 효율성을 높이는 프로토콜을 익히세요.

궤도 컴퓨터 단층 촬영 을 통한 딥러닝 기반 의료 영상 분할 적용

더 많은 동영상 탐색