Name: Swin-PSAxialNet: 효율적인 다중 장기 분할 기법 (동영상) | JoVE Journal
Uploaded: 2024-07-05T12:30:00.000+00:00
Duration: 4 min 48 s
Description: 학습하세요 Swin-PSAxialNet을 활용한 효율적인 다중 장기 분할 기법으로 딥러닝 기반 이미지 분석 정확도를 향상시키는 방법을. 데이터 전처리, 모델 학습 및 실험을 통해 검증된 이 방법은 의료 영상 분야에 활용될 수 있습니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

본 의정서는 난퉁대학교 윤리위원회의 승인을 받았다. 여기에는 인공 지능 기술을 활용하여 인간 의료 이미지, 사지 움직임 및 혈관 이미징을 포함하여 획득한 비침습적 또는 최소 침습적 다중 모드 데이터에 대한 지능적인 평가 및 연구가 포함됩니다. 그림 3 은 다기관 분할의 전체 순서도를 보여줍니다. 필요한 모든 웹 링크는 자료 표에 나와 있습니다.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66459/66459fig03.jpg"> 
그림 3: 다기관 세분화의 전체 순서도.<a href="https://www.jove.com/files/ftp_upload/66459/66459fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
1. 데이터셋 수집
<ol>
	<li>AMOS2022 데이터셋24 를 다운로드합니다( 자료표 참조).</li>
	<li>160개의 이미지를 학습 데이터 세트로 선택하고 40개의 이미지를 테스트 데이터 세트로 선택합니다.</li>
	<li>mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data를 터미널로 실행합니다.</li>
	<li>raw_data의 길을 엽니다.</li>
	<li>데이터 세트를 raw_data 디렉터리에 배치하고 "imagesTr" 및 "labelsTr" 디렉터리의 파일 이름과 올바른 일치를 확인합니다.</li>
	<li>dataset.json 파일을 만듭니다.</li>
	<li>numTraining, numTest 및 레이블 이름과 같은 데이터셋 정보를 "dataset.json" 파일에 추가합니다. 참고: 이 연구의 데이터 세트는 교육 및 테스트 목적으로 AMOS2022 공식 500 CT 데이터 세트에서 선택한 200개의 고품질 CT 데이터 세트로 구성됩니다. 이 데이터 세트는 비장, 오른쪽 신장, 왼쪽 신장, 담낭, 식도, 간, 위, 대동맥, 하대정맥, 췌장, 방광을 포함한 11개의 기관을 포함합니다.</li>
</ol>
2. 환경 구성
<ol>
	<li>Paddlepaddle 환경( Table of Materials) 및 해당 CUDA 버전25를 설치합니다. 참고: Paddlepaddle 버전 2.5.0 및 CUDA 버전 11.7을 사용하는 것이 좋습니다.</li>
	<li>Git은 PaddleSeg 저장소를 복제합니다25.</li>
	<li>cd ~/PaddleSeg/contrib/MedicalSeg/를 터미널로 실행합니다.</li>
	<li>pip install -r requirements.txt를 실행합니다.</li>
	<li>pip install medpy를 실행합니다.</li>
</ol>
3. 데이터 전처리
<ol>
	<li>data_root, batch_size, model, train_dataset, val_dataset, optimizer, lr_scheduler 및 loss와 같은 매개변수를 포함하여 "yml" 파일을 수정합니다.</li>
	<li>"-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval 등을 포함하여 실행에 필요한 매개 변수를 지정합니다. 참고: 원래 "raw_data"은 "크롭", "데카트론" 및 "전처리"의 세 가지 유형의 데이터 파일로 변환되어 모델 성능과 교육 효율성을 향상시키기 위해 다양한 교육 및 평가 요구 사항을 충족합니다.</li>
</ol>
4. 모델 학습 및 비교
참고: 이미지 분할 분야에서 널리 사용되는 기준선인 nnU-Net23 은 연구에서 기준선 모델 역할을 합니다. 구체적인 모델 비교 프로세스는 다음과 같습니다.
<ol>
	<li>nnU-Net 훈련시키기<ol>
		<li>2 및 80,000회 반복의 배치 크기로 구성하고, 20회 반복마다 기록하고, fp16 정밀도를 활용합니다.</li>
		<li>save_dir 작업 디렉토리 내의 "output" 폴더로 설정하고 저장 간격은 1,000회 반복으로 설정합니다.</li>
		<li>VisualDL 매개 변수 시각화를 위해 --use_vdl 매개 변수를 추가합니다.</li>
		<li>train.py 실행합니다.</li>
		<li>4개의 yml 파일을 만들고, 폴드 1-4를 지정하고, 5겹 교차 검증을 사용하여 모델을 훈련시킵니다.</li>
	</ol>
	</li>
	<li>기차 Swin-UNet<ol>
		<li>이전에 설정된 실험 조건과의 일관성을 유지합니다.</li>
		<li>매개 변수 --nnunet 을 제거하고 --swinunet을 사용합니다.</li>
		<li>train.py 파일을 실행합니다.</li>
		<li>트레인은 1-4개를 개별적으로 접은 다음 앙상블 처리를 받습니다.</li>
	</ol>
	</li>
	<li>TransUNet 기차<ol>
		<li>4.1단계에 설명된 절차를 따릅니다.</li>
		<li>yml 파일을 엽니다.</li>
		<li>type: nnunet을 type: transunet으로 수정합니다.</li>
		<li>매개 변수 --nnunet 을 --transunet으로 수정합니다.</li>
		<li>train.py 파일을 실행합니다.</li>
		<li>트레인은 1-4를 개별적으로 접고 앙상블 처리를 처리합니다.</li>
	</ol>
	</li>
	<li>UNETR 훈련<ol>
		<li>실험 변수를 일관되게 유지합니다.</li>
		<li>Swin-UNet 및 TransUNet과 같이 앞에서 설명한 절차를 반복합니다(4.2단계 및 4.3단계).</li>
		<li>train.py 실행합니다.</li>
		<li>트레인은 1-4를 개별적으로 접고 앙상블 처리를 처리합니다.</li>
	</ol>
	</li>
	<li>기차 nnFormer<ol>
		<li>Swin-UNet 및 TransUNet과 같은 매개 변수를 수정합니다.</li>
		<li>한 번 접기 train.py 실행합니다.</li>
		<li>앙상블 처리를 실행합니다.</li>
	</ol>
	</li>
</ol>
5. 절제 실험
<ol>
	<li>전체 네트워크에 대한 PSAA 블록<ol>
		<li>변수를 4.1단계와 일관되게 유지합니다.</li>
		<li>volume_shape = (64,192,192) 및 Axial_attention = True로 설정합니다.</li>
		<li>한 번 접기 train.py 실행합니다.</li>
		<li>앙상블 가공을 5겹으로 처리합니다.</li>
	</ol>
	</li>
	<li>전체 네트워크에 대한 SPD 블록<ol>
		<li>변수를 4.1단계와 일관되게 유지합니다.</li>
		<li>SPD_enable = True 및 Axial_attention = False로 설정합니다.</li>
		<li>한 번 접기 train.py 실행합니다.</li>
		<li>앙상블 가공을 5겹으로 처리합니다.</li>
	</ol>
	</li>
	<li>업샘플링을 위한 PSAA 블록 참고: 다운샘플링에 SPD 블록을 사용하지 마십시오.<ol>
		<li>업샘플링을 위해 PSAA 블록을 사용합니다.</li>
		<li>변수를 4.1단계와 일관되게 유지합니다.</li>
		<li>다운샘플링 부분에서 Axial_attention = False 를 설정하고 SPD_enable = False를 설정합니다.</li>
		<li>한 번 접기 train.py 실행합니다.</li>
		<li>공정 5중 앙상블 가공.</li>
	</ol>
	</li>
	<li>업샘플링을 위한 PSAA 블록 참고: 다운샘플링을 위해 SPD 블록을 사용하십시오.<ol>
		<li>SPD 블록은 다운샘플링에 사용하고 PSAA 블록은 업샘플링에 사용합니다.</li>
		<li>변수를 4.1단계와 일관되게 유지합니다.</li>
		<li>다운샘플링 부분에서 Axial_attention = False 를 설정하고 SPD_enable = True를 설정합니다.</li>
		<li>한 번 접기 train.py 실행합니다.</li>
		<li>공정 5중 앙상블 가공.</li>
		<li>우수한 결과를 위해 반복 횟수를 2,00,000으로 설정합니다.</li>
	</ol>
	</li>
</ol>

<meta charset="utf8"></head><body>Swin-PSAxialNet: 여러 장기를 분할하기 위한 간소화된 접근 방식

<ol><li>Liu, X., Song, L., Liu, S., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+deep-learning-based+medical+image+segmentation+methods%5BTitle%5D)+AND+%22Sustain%22%5BJournal%5D)">A review of deep-learning-based medical image segmentation methods.</a> Sustain. 13 (3), 1224(2021).</li>
<li>Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+artifact+recognition+for+the+nuclear+technologist%5BTitle%5D)+AND+%22J+Nucl+Med+Technol%22%5BJournal%5D)">CT artifact recognition for the nuclear technologist.</a> J Nucl Med Technol. 36 (2), 79-81 (2008).</li>
<li>Rehman, A., Khan, F. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+based+review+on+abdominal+images%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">A deep learning based review on abdominal images.</a> Multimed Tools Appl. 80, 30321-30352 (2021).</li>
<li>Schenck, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+magnetic+susceptibility+in+magnetic+resonance+imaging%3A+Mri+magnetic+compatibility+of+the+first+and+second+kinds%5BTitle%5D)+AND+%22Med+Phys%22%5BJournal%5D)">The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds.</a> Med Phys. 23 (6), 815-850 (1996).</li>
<li>Palmisano, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Myocardial+late+contrast+enhancement+ct+in+troponin-positive+acute+chest+pain+syndrome%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome.</a> Radiol. 302 (3), 545-553 (2022).</li>
<li>Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automatic+diagnostic+system+for+CT+liver+image+classification%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">An automatic diagnostic system for CT liver image classification.</a> IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).</li>
<li>Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computed+tomography+of+the+kidney%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Computed tomography of the kidney.</a> Radiol. 124 (2), 359-370 (1977).</li>
<li>Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+of+congenital+and+acquired+abnormalities+of+the+spleen%5BTitle%5D)+AND+%22Radiographics%22%5BJournal%5D)">CT of congenital and acquired abnormalities of the spleen.</a> Radiographics. 13 (3), 597-610 (1993).</li>
<li>Almeida, R. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+pancreatic+CT+imaging%5BTitle%5D)+AND+%22AJR+Am+J+Roentgenol%22%5BJournal%5D)">Advances in pancreatic CT imaging.</a> AJR Am J Roentgenol. 211 (1), 52-66 (2018).</li>
<li>Eisen, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Guidelines+for+credentialing+and+granting+privileges+for+endoscopic+ultrasound%5BTitle%5D)+AND+%22Gastrointest+Endosc%22%5BJournal%5D)">Guidelines for credentialing and granting privileges for endoscopic ultrasound.</a> Gastrointest Endosc. 54 (6), 811-814 (2001).</li>
<li>Sykes, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reflections+on+the+current+status+of+commercial+automated+segmentation+systems+in+clinical+practice%5BTitle%5D)+AND+%22J+Med+Radiat+Sci%22%5BJournal%5D)">Reflections on the current status of commercial automated segmentation systems in clinical practice.</a> J Med Radiat Sci. 61 (3), 131-134 (2014).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Deep residual learning for image recognition.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale. arXiv.</a> arXiv. , 11929(2020).</li>
<li>Ramachandran, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stand-alone+self-attention+in+vision+models%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Stand-alone self-attention in vision models.</a> Adv Neural Inf Process Syst. 32, NIPS2019 (2019).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Attention is all you need.</a> Adv Neural Inf Process Syst. 30, NIPS2019 (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNET%3A+Transformers+make+strong+encoders+for+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TransUNET: Transformers make strong encoders for medical image segmentation.</a> arXiv. , arXiv:2102 04396(2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">Swin transformer: Hierarchical vision transformer using shifted windows.</a> Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).</li>
<li>Cao, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin-UNET%3A+Unet-like+pure+transformer+for+medical+image+segmentation%5BTitle%5D)+AND+%22Comput+Vis+ECCV%22%5BJournal%5D)">Swin-UNET: Unet-like pure transformer for medical image segmentation.</a> Comput Vis ECCV. , 205-218 (2022).</li>
<li>Zhou, H. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnformer%3A+Interleaved+transformer+for+volumetric+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnformer: Interleaved transformer for volumetric segmentation. arXiv.</a> arXiv. , arXiv:2109 03201(2021).</li>
<li>Sunkara, R., Luo, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((No+more+strided+convolutions+or+pooling%3A+A+new+CNN+building+block+for+low-resolution+images+and+small+objects%5BTitle%5D)+AND+%22Mach+Learn+Knowl+Discov+Databases%22%5BJournal%5D)">No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects.</a> Mach Learn Knowl Discov Databases. , 443-459 (2023).</li>
<li>Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+U-Net%3A+learning+dense+volumetric+segmentation+from+sparse+annotation%5BTitle%5D)+AND+%22Med+Comput+Vis+Bayesian+Graph+Models+Biomed+Imaging%22%5BJournal%5D)">3D U-Net: learning dense volumetric segmentation from sparse annotation.</a> Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).</li>
<li>Kim, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdominal+multi-organ+auto-segmentation+using+3D-patch-based+deep+convolutional+neural+network%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network.</a> Scientific reports. 10 (1), 6204(2020).</li>
<li>Isensee, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnu-net%3A+Self-adapting+framework+for+u-net-based+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnu-net: Self-adapting framework for u-net-based medical image segmentation.</a> arXiv. , arXiv:1809 10486(2018).</li>
<li>Ji, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+large-scale+abdominal+multi-organ+benchmark+for+versatile+medical+image+segmentation%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">A large-scale abdominal multi-organ benchmark for versatile medical image segmentation.</a> Adv Neural Inf Process Syst. 35, 36722-36732 (2022).</li>
<li>Liu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Paddleseg%3A+A+high-efficient+development+toolkit+for+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Paddleseg: A high-efficient development toolkit for image segmentation.</a> arXiv. , arXiv:2101 06175(2021).</li>
<li>Hatamizadeh, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UNETR%3A+Transformers+for+3D+medical+image+segmentation%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">UNETR: Transformers for 3D medical image segmentation.</a> Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).</li>
<li>Zhou, H., Zeng, D., Bian, Z., Ma, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+semi-supervised+network-based+tissue-aware+contrast+enhancement+method+for+ct+images%5BTitle%5D)+AND+%22Nan+Fang+Yi+Ke+Da+Xue+Xue+Bao%22%5BJournal%5D)">A semi-supervised network-based tissue-aware contrast enhancement method for ct images.</a> Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).</li>
<li>Ma, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdomenct-1k%3A+Is+abdominal+organ+segmentation+a+solved+problem%5BTitle%5D)+AND+%22IEEE+Trans+Pattern+Anal+Mach+Intell%22%5BJournal%5D)">Abdomenct-1k: Is abdominal organ segmentation a solved problem.</a> IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).</li>
<li>Galván, E., Mooney, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroevolution+in+deep+neural+networks%3A+Current+trends+and+future+challenges%5BTitle%5D)+AND+%22IEEE+Trans+Artif+Intell%22%5BJournal%5D)">Neuroevolution in deep neural networks: Current trends and future challenges.</a> IEEE Trans Artif Intell. 2 (6), 476-493 (2021).</li>
</ol>

질병의 진단, 치료 계획의 수립, 치료 결과의 추적을 포함한 현대의 임상적 개입은 의료 영상의 정확한 세분화에 의존한다1. 그러나 복부 장기 간의 복잡한 구조적 관계2로 인해 여러 복부 장기를 정확하게 세분화하는 것은 어려운 작업입니다3. 지난 수십 년 동안 의료 영상 및 컴퓨터 비전의 번창하는 발전은 복부 다기관 분할 분야에서 새로운 기회와 도전을 동시에 제시했습니다. 첨단 자기공명영상(MRI)4 및 컴퓨터 단층촬영(CT) 기술5을 통해 고해상도 복부 이미지를 얻을 수 있습니다. CT 영상에서 여러 장기를 정밀하게 세분화하는 것은 간, 신장, 비장, 췌장 등과 같은 중요한 장기의 평가 및 치료에 상당한 임상적 가치를 지닙니다.6,7,8,9,10 그러나 이러한 해부학적 구조, 특히 방사선 전문의나 방사선 종양 전문의의 개입이 필요한 구조를 수동으로 주석하는 것은 시간이 많이 걸리고 주관적인 영향에 취약합니다 11. 따라서 복부 다기관 분할을 위한 자동화되고 정확한 방법을 시급히 개발할 필요가 있습니다.
이미지 분할에 대한 이전 연구는 주로 CNN(Convolutional Neural Network)에 의존했는데, CNN은 레이어를 쌓고 ResNet12를 도입하여 분할 효율성을 개선했습니다. 2020년, Google 연구팀은 VIT(Vision Transformer) 모델13을 도입하여 다양한 시각적 작업14을 위해 Transformer 아키텍처를 기존 시각적 영역에 통합하는 선구적인 사례로 기록했습니다. 컨볼루셔널 연산은 로컬 피처 정보만 고려할 수 있지만, 트랜스포머의 어텐션 메커니즘을 사용하면 글로벌 피처 정보를 포괄적으로 고려할 수 있습니다.
기존 컨볼루션 네트워크15에 비해 트랜스포머 기반 아키텍처의 우수성을 고려하여 수많은 연구팀이 트랜스포머와 컨볼루션 네트워크 16,17,18,19의 강점 간의 시너지 효과를 최적화하기 위해 광범위한 연구를 수행했습니다. Chen 등은 트랜스포머를 활용하여 이미지에서 전역 특징을 추출하는 의료 이미지 분할 작업16을 위한 TransUNet을 도입했습니다. 네트워크 교육의 높은 비용과 기능 추출 계층 구조의 개념을 활용하지 못하기 때문에 Transformer의 장점은 완전히 실현되지 않았습니다.
이러한 문제를 해결하기 위해 많은 연구자들이 트랜스포머를 세그멘테이션 네트워크 훈련을 위한 백본으로 통합하는 실험을 시작했습니다. Liu et al.17 은 계층화된 특징 추출을 위해 계층적 구성 방법을 사용하는 Swin Transformer를 도입했습니다. W-MSA(Windows Multi-Head Self-Attention)의 개념이 제안되어 특히 더 큰 얕은 수준의 기능 맵이 있는 경우 계산 비용을 크게 줄였습니다. 이 접근 방식은 계산 요구 사항을 줄였지만 서로 다른 창 간의 정보 전송도 격리했습니다. 이 문제를 해결하기 위해 저자는 SW-MSA(Shifted Windows Multi-Head Self-Attention)의 개념을 추가로 도입하여 인접한 창 간에 정보를 전파할 수 있도록 했습니다. 이 방법론을 기반으로 Cao 등은 Swin-UNet18을 공식화하여 U-Net의 2D 컨볼루션을 Swin 모듈로 대체하고 W-MSA 및 SW-MSA를 인코딩 및 디코딩 프로세스에 통합하여 훌륭한 세분화 결과를 달성했습니다.
반대로, Zhou 등은 고해상도 이미지를 처리할 때 conv 연산의 이점을 무시할 수 없다는 점을 강조했습니다19. 그들이 제안한 nnFormer는 로컬 3차원 이미지 블록을 기반으로 하는 셀프 어텐션 계산 방법을 사용하여 십자형 구조를 특징으로 하는 트랜스포머 모델을 구성합니다. 로컬 3차원 블록을 기반으로 한 어텐션을 활용하면 네트워크의 학습 부하가 크게 줄었습니다.
위 연구의 문제점을 감안하여 Swin-PSAxialNet이라고 하는 3D 의료 이미지 분할을 위한 효율적인 하이브리드 계층 구조를 제안합니다. 이 방법은 다운샘플링 블록, SPD(Space-to-depth)20 블록을 통합하여 글로벌 정보(21)를 추출할 수 있습니다. 또한 PSAA(Parameter Shared Axial Attention) 모듈을 추가하여 학습 매개변수 수를 2차에서 선형으로 줄이고 네트워크 훈련의 정확도와 훈련 모델의 복잡성에 좋은 영향을 미칠 것입니다22.
Swin-PSAxialNet 네트워크 네트워크의 전체 아키텍처는 인코더와 디코더 구조로 구성된 nnU-Net23의 U자형 구조를 채택합니다. 이러한 구조는 그림 1에서 볼 수 있듯이 국소 특징 추출과 큰 크기 및 작은 크기의 이미지에서 특징을 연결하는 데 관여합니다.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66459/66459fig01.jpg"> 
그림 1: 네트워크 아키텍처의 Swin-PSAxialNet 개략도. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
인코더 구조에서 전통적인 Conv 블록은 SPD 블록(20 )과 결합되어 다운샘플링 볼륨을 형성합니다. 엔코더의 첫 번째 계층은 3D 데이터를 3D 패치 <img alt="Equation 1" src="/files/ftp_upload/66459/66459eq01.jpg" style="margin: auto;">로 분할하는 모듈인 패치 임베딩을 통합하며, (P1, P2, P3)은 이 컨텍스트에서 겹치지 않는 패치를 나타내며 <img alt="Equation 2" src="/files/ftp_upload/66459/66459eq02.jpg" style="margin: auto;"> 3D 패치의 시퀀스 길이를 의미합니다. 임베딩 레이어에 이어 다음 단계에는 컨볼루션 블록과 SPD 블록을 모두 포함하는 비중첩 컨볼루션 다운샘플링 장치가 포함됩니다. 이 설정에서 컨볼루션 블록은 보폭이 1로 설정되고 SPD 블록은 이미지 스케일링에 사용되어 해상도가 4배 감소하고 채널이 2배 증가합니다.
디코더 구조에서 병목 현상 기능 레이어 이후의 각 업샘플링 블록은 업샘플링 블록과 PSAA 블록의 조합으로 구성됩니다. 기능 맵의 해상도는 2배 증가하고, 채널 수는 각 디코더 단계 쌍 사이에서 절반으로 줄어듭니다. 공간 정보를 복원하고 특징 표현을 향상시키기 위해 업샘플링 블록 간에 큰 이미지와 작은 크기 이미지 간의 특징 융합이 수행됩니다. 최종적으로 업샘플링 결과는 헤드 레이어에 공급되어 출력 크기가 (H × W × D × C, C = 3)인 원본 이미지 크기를 복원합니다.
SPD 블록 아키텍처 기존 방법에서 다운샘플링 섹션은 단계 크기가 2인 단일 보폭을 사용합니다. 여기에는 이미지의 로컬 위치에서 컨볼루션 풀링(convolutional pooling)이 포함되며, 수용 영역을 제한하고, 모델을 작은 이미지 패치에서 특징을 추출하는 것으로 제한합니다. 이 방법은 원본 이미지를 3차원으로 미세하게 나누는 SPD 블록을 사용합니다. 원본 3D 이미지는 x, y 및 z축을 따라 균등하게 분할되어 4개의 하위 볼륨 바디가 생성됩니다. (그림 2) 이어서, 4개의 볼륨은 "cat" 연산을 통해 연결되고, 결과 이미지는 1 × 1 × 1 컨볼루션을 거쳐 다운 샘플링된 이미지(20)를 얻는다.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66459/66459fig02.jpg"> 
그림 2: SPD 블록 다이어그램. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
PSAA 블록 아키텍처 전통적인 CNN 네트워크와 달리 제안된 PSAA 블록은 글로벌 정보 집중을 수행하는 데 더 효과적이며 네트워크 학습 및 교육에 더 효율적입니다. 이를 통해 보다 풍부한 이미지와 공간 기능을 캡처할 수 있습니다. PSAA 블록에는 높이, 너비, 깊이의 3차원을 공유하는 매개변수를 기반으로 하는 축 주의 학습이 포함되어 있습니다. 이미지 내의 각 픽셀에 대해 어텐션 러닝을 수행하는 종래의 어텐션 메카니즘과 비교해, 이 방법은 3차원 각각에 대해 독립적으로 어텐션 러닝을 수행하여, 셀프 어텐션의 복잡성을 2차에서 선형으로 줄인다. 또한, 학습 가능한 키-쿼리 매개변수 공유 메커니즘이 사용되어 네트워크가 3차원에 걸쳐 병렬로 어텐션 메커니즘 작업을 수행할 수 있도록 하여 더 빠르고 우수하며 효과적인 기능 표현을 가능하게 합니다.

<table><tbody><tr><td>AMOS2022 데이터 세트</td><td>없음</td><td>없음</td><td>네트워크 훈련 및 테스트를 위한 데이터 세트. 웹 링크는 다음과 같습니다 https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb</td></tr><tr><td>ASUS 메인프레임</td><td>ASUS</td><td></td><td>https://www.asusparts.eu/en/asus-13020-01910200</td></tr><tr><td>CUDA 버전 11.7</td><td>엔비디아</td><td></td><td>https://developer.nvidia.com/cuda-11-7-0-download-archive</td></tr><tr><td>엔비디아 지포스 RTX 3090</td><td>엔비디아</td><td></td><td>https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/</td></tr><tr><td>패들패들 환경&nbsp;</td><td>바이두</td><td>없음</td><td>네트워크 교육을 위한 환경 준비. 웹 링크는 다음과 같습니다 https://www.paddlepaddle.org.cn/</td></tr><tr><td>패들세그</td><td>바이두</td><td>없음</td><td>우리가 사용하는 기준: https://github.com/PaddlePaddle/PaddleSeg</td></tr></tbody></table>

swin-psaxialnet: 효율적인 다중 장기 분할 기법

Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique

이 프로토콜은 모델을 평가하기 위해 DSC(Dice Similarity Score)와 HD95(95% Hausdorff Distance)의 두 가지 메트릭을 사용합니다. DSC는 복셀 분할 예측과 실측 자료 간의 중복을 측정하는 반면, 95% HD는 복셀 분할 예측 경계와 실측 자료 간의 중복을 평가하여 이상값의 5%를 필터링합니다. DSC26 의 정의는 다음과 같습니다.
<img alt="Equation 3" src="/files/ftp_upload/66459/66459eq03.jpg" style="margin: auto;">(1)
여기서 T와 P는 각각 모든 복셀에 대한 실측 자료 값과 예측 값을 나타냅니다. 95% HD26 의 정의는 다음과 같습니다.
<img alt="Equation 4" src="/files/ftp_upload/66459/66459eq04.jpg" style="margin: auto;">(2)
여기서 d T,P는 실측 자료와 예측된 복셀 사이의 최대 HD95의 95번째 백분위수 거리이고, d T,P는 예측된 복셀과 실측 자료 사이의 최대 HD95의 95번째 백분위수 거리를 나타냅니다.
Swin-PSAxialNet은 표 1에서 다양한 주류 다기관 분할 알고리즘과 비교됩니다. 결과는 제안된 알고리즘에서 복부 장기에 대한 향상된 세분화 성능을 보여줍니다. 세분화 방법의 주사위 정확도는 다른 방법의 평균 주사위 값보다 2-3% 포인트 높으며 nnFormer보다 1% 포인트 더 우수합니다. Swin-PSAxialNet은 또한 평균 HD95 계수가 5.63으로 비교된 모든 알고리즘 중 가장 낮아 경계 분할에서 높은 정확도를 보여줍니다.
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td colspan="2" rowspan="2" style="min-width: 40px;">방법</td>
			<td rowspan="2" style="min-width: 40px;">LKN</td>
			<td rowspan="2" style="min-width: 40px;">특수부대</td>
			<td rowspan="2" style="min-width: 40px;">리브</td>
			<td rowspan="2" style="min-width: 40px;">팬</td>
			<td rowspan="2" style="min-width: 40px;">아로</td>
			<td rowspan="2" style="min-width: 40px;">즐</td>
			<td rowspan="2" style="min-width: 40px;">스토</td>
			<td rowspan="2" style="min-width: 40px;">기가바이트</td>
			<td rowspan="2" style="min-width: 40px;">포스</td>
			<td rowspan="2" style="min-width: 40px;">에소</td>
			<td rowspan="2" style="min-width: 40px;">알켄</td>
			<td colspan="2" style="min-width: 40px;">평균</td>
		</tr>
		<tr>
			<td style="min-width: 40px;">DSC (디씨에스케이터</td>
			<td style="min-width: 40px;">HD95 시리즈</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nnU-그물</td>
			<td style="min-width: 40px;">96.3</td>
			<td style="min-width: 40px;">96.8</td>
			<td style="min-width: 40px;">97.21</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">95.22</td>
			<td style="min-width: 40px;">86.57</td>
			<td style="min-width: 40px;">91.47</td>
			<td style="min-width: 40px;">84.7</td>
			<td style="min-width: 40px;">91.79</td>
			<td style="min-width: 40px;">82.5</td>
			<td style="min-width: 40px;">95.44</td>
			<td style="min-width: 40px;">91.2</td>
			<td style="min-width: 40px;">7.13</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">스윈 - Unet</td>
			<td style="min-width: 40px;">96.03</td>
			<td style="min-width: 40px;">96.68</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">85.74</td>
			<td style="min-width: 40px;">95.3</td>
			<td style="min-width: 40px;">87.82</td>
			<td style="min-width: 40px;">91.77</td>
			<td style="min-width: 40px;">84.64</td>
			<td style="min-width: 40px;">91.67</td>
			<td style="min-width: 40px;">83.26</td>
			<td style="min-width: 40px;">96.14</td>
			<td style="min-width: 40px;">91.48</td>
			<td style="min-width: 40px;">9.68</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">트랜스넷</td>
			<td style="min-width: 40px;">96.42</td>
			<td style="min-width: 40px;">96.74</td>
			<td style="min-width: 40px;">97.05</td>
			<td style="min-width: 40px;">85.09</td>
			<td style="min-width: 40px;">94.86</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">91.81</td>
			<td style="min-width: 40px;">83.33</td>
			<td style="min-width: 40px;">91.52</td>
			<td style="min-width: 40px;">82.22</td>
			<td style="min-width: 40px;">96.12</td>
			<td style="min-width: 40px;">90.94</td>
			<td style="min-width: 40px;">13.77</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">우네트르</td>
			<td style="min-width: 40px;">95.94</td>
			<td style="min-width: 40px;">96.48</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">84.14</td>
			<td style="min-width: 40px;">94.62</td>
			<td style="min-width: 40px;">85.01</td>
			<td style="min-width: 40px;">90.18</td>
			<td style="min-width: 40px;">81.16</td>
			<td style="min-width: 40px;">90.79</td>
			<td style="min-width: 40px;">80.34</td>
			<td style="min-width: 40px;">95.15</td>
			<td style="min-width: 40px;">90.06</td>
			<td style="min-width: 40px;">12.92</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nn포머(Former</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">97.33</td>
			<td style="min-width: 40px;">86.79</td>
			<td style="min-width: 40px;">95.31</td>
			<td style="min-width: 40px;">89.74</td>
			<td style="min-width: 40px;">92.82</td>
			<td style="min-width: 40px;">84.88</td>
			<td style="min-width: 40px;">92.43</td>
			<td style="min-width: 40px;">84.24</td>
			<td style="min-width: 40px;">96.32</td>
			<td style="min-width: 40px;">92.15</td>
			<td style="min-width: 40px;">6.59</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">Swin-PSAxialNet</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">97.67</td>
			<td style="min-width: 40px;">97.64</td>
			<td style="min-width: 40px;">88.39</td>
			<td style="min-width: 40px;">95.97</td>
			<td style="min-width: 40px;">92.03</td>
			<td style="min-width: 40px;">94.4</td>
			<td style="min-width: 40px;">87.78</td>
			<td style="min-width: 40px;">93.15</td>
			<td style="min-width: 40px;">86.24</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">93.34</td>
			<td style="min-width: 40px;">5.63</td>
		</tr>
	</tbody>
</table>
표 1: 주류 세분화 알고리즘 비교. Lkn은 왼쪽 신장, Spl은 비장, Liv는 간, Pan은 췌장, Aro는 대동맥, Bla는 방광, Sto는 위, Gbd는 담낭, Pos는 후낭, Eso는 식도, Rkn은 오른쪽 신장, DSC는 평균 주사위 계수, HD95는 평균 95% 하우스도르프 거리를 나타냅니다.
또한 파라미터 공유 메커니즘의 도입과 트랜스포머 구조의 개선은 모델 복잡성과 추론 속도 모두에서 상당한 이점을 제공합니다(표 2, 그림 4 및 그림 5).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>모델</td>
			<td>매개 변수 (M)</td>
			<td>플롭 (G)</td>
			<td>추론 시간(초)</td>
		</tr>
		<tr>
			<td>nn-우넷</td>
			<td>17.96</td>
			<td>398.54</td>
			<td>9.07</td>
		</tr>
		<tr>
			<td>우네트르</td>
			<td>89.58</td>
			<td>39.67</td>
			<td>12.51</td>
		</tr>
		<tr>
			<td>nn포머(Former</td>
			<td>134.78</td>
			<td>152.43</td>
			<td>11.24</td>
		</tr>
		<tr>
			<td>Swin-PSAxialNet</td>
			<td>37.64</td>
			<td>43.15</td>
			<td>10.31</td>
		</tr>
	</tbody>
</table>
표 2: 네트워크 모델 지표 비교표.
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66459/66459fig04.jpg"> 
그림 4: 모델 학습 네트워크의 주사위 변동 곡선. (A) 현재 네트워크. (B) nn전자. (C) nnU-그물. (D) 유엔난민기구(UNETR). <a href="https://www.jove.com/files/ftp_upload/66459/66459fig04large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/66459/66459fig05.jpg"> 
그림 5: 모델 학습 결과 비교. 이 그림은 현재 네트워크의 결과, nnFormer의 결과, nnU-Net의 결과 및 UNETR의 결과를 강조 표시합니다. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig05large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
본 연구는 PSAA 블록과 SPD 블록을 변수로 사용하여 알고리즘 네트워크에 대한 포괄적인 절제 실험을 수행하고, 단일 폴드 학습과 5배 학습을 비교했습니다. 실험 결과의 주사위 계수는 표 3에 나와 있습니다. 이러한 결과는 다운샘플링에 SPD 블록을 활용하고 업샘플링에 PSAA 블록을 사용하면 수정되지 않은 nnU-Net에 비해 분할 성능이 효과적으로 향상된다는 것을 보여줍니다(그림 6).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>모델</td>
			<td>전체 네트워크에 대한 PSAA 블록</td>
			<td>전체 네트워크에 대한 SPD 블록</td>
			<td>업샘플링 전용 PSAA 블록</td>
			<td>업샘플링을 위한 PSAA 블록, SPD 사용</td>
		</tr>
		<tr>
			<td>Single-fold 교육</td>
			<td>92.17</td>
			<td>90.51</td>
			<td>92.24</td>
			<td>92.39</td>
		</tr>
		<tr>
			<td>5중 교육</td>
			<td>92.82</td>
			<td>91.26</td>
			<td>92.79</td>
			<td>93.34</td>
		</tr>
	</tbody>
</table>
표 3: Swin-PSAxialNet의 절제 실험 결과. Swin PSAxialNet의 절제 실험 결과를 소개합니다. 절제 실험에서는 PSAA Block과 SPD Block의 사용을 비교하였으며, DSC의 훈련 결과를 표에 나타내었다.
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/66459/66459fig06.jpg"> 
그림 6: 세분화 결과. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig06large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>

Swin-PSAxialNet: 효율적인 다중 장기 분할 기법

Abdominal multi-organ segmentation is one of the most important topics in the field of medical image analysis, and it plays an important role in ...

우리의 연구는 주로 의료 이미지 분할, 의료 다중 모드, 대규모 언어 모델 및 바이오 센서를 포함한 의료 분야에서 인공 지능을 적용하는 데 중점을 두고 있습니다.우리 분야의 최신 발전에는 SAM과 같은 제로 샘플 프로 기반 세분화 모델과 Wish 멤버와 같은 시퀀스 모델이 포함됩니다.현재 딥 러닝 모델이 직면한 일반적인 문제로는 데이터 볼륨이 부족하고 품질 저하가 있어 모델 일반화, 기능 및 견고성을 개선해야 합니다.우리 프로토콜은 PSA 블록과 SPD 블록을 정보 추출 모듈로 도입하여 보다 포괄적인 정보 추출 기능을 제공하고 다른 방법에 비해 낮은 계산 비용을 제공합니다.우리 도서관의 향후 목표에는 범용 의료 대형 모델 개발, 다중 모델 딥 러닝 알고리즘 연구, 지능형 의료 웨어러블 장치 설계가 포함됩니다.[해설자] 시작하려면 Amos-2022 데이터 세트를 다운로드하고 분석에 사용할 이미지를 설명합니다. 학습 데이터 세트의 경우 데이터 세트에서 160개의 이미지를 선택하고 테스트 데이터 세트의 경우 40개의 이미지를 선택합니다. 터미널에서 이 명령을 실행하여 원시 데이터가 포함된 디렉토리를 이동합니다. 그런 다음 원시 데이터 디렉터리 내에 dataset.json 파일을 생성하고 학습 및 테스트 이미지 수, 레이블 이름과 같은 데이터 세트 정보를 입력합니다. 환경 구성의 경우 PaddlePaddle 환경과 해당 Kunlun 버전을 설치합니다. GitHub에서 PaddleSeg 리포지토리를 복제합니다. 터미널에서 이 명령을 실행하여 MedicalSeg 디렉토리로 이동합니다. 프로젝트 요구 사항을 설치하려면 이 명령을 사용합니다. 그런 다음 data_root, batch_size, model, train_dataset, val_dataset, optimizer, LR_scheduler 및 loss와 같은 매개변수를 포함하도록 yml 구성 파일을 수정합니다. 이 명령을 사용하여 실행에 필요한 매개 변수를 지정합니다. 배치 크기 2 및 80,000회 반복으로 NNU 순 학습 프로세스를 구성합니다. 20회 반복마다 기록하고 FP 16 정밀도를 활용합니다. 1000회 반복마다 저장 간격을 설정합니다. 그런 다음 Train.py 실행하십시오. 시각적 DL 파라미터 시각화를 위한 파라미터 use_VDL를 추가합니다. 4개의 yml 파일을 만들고, 1에서 4까지의 접기를 지정하고, 5중 교차 유효성 검사로 모델을 훈련합니다. 다음으로, PSAA 블록을 훈련 단계와 동일하게 유지하면서 전체 네트워크에 통합합니다. 볼륨 모양을 설정하고 축 방향 주의를 true로 활성화합니다. single fold train.py 명령을 실행합니다. 단일 접기를 평가하고 매개 변수를 구성합니다. 5겹에 걸쳐 앙상블 처리를 처리합니다. Swin-PSAxialNet은 주류 다기관 분할 알고리즘과 비교할 때 복부 장기에 대한 우수한 분할 성능을 보여줍니다. 또한 Swin-PSAxialNet은 경계 분할에 탁월하여 비교된 모든 알고리즘 중에서 가장 낮은 평균 HD 95 계수를 달성했습니다. 매개변수 공유 메커니즘의 도입과 트랜스포머 구조의 개선은 다른 방법에 비해 모델 복잡성과 추론 속도가 크게 향상되는 데 기여했습니다. 포괄적인 절제 실험을 통해 표준 NNU 넷에 비해 더 높은 분할 성능이 나타났으며, 이는 업샘플링을 위한 PSAA 블록의 이점을 강조했습니다.

swin-psaxialnet-an-efficient-multi-organ-segmentation-technique

Research

연구

JoVE Journal

Engineering

공학

많은 이미징 기술 3 차원 데이터의 세분화는 복잡 한 생물 학적 시스템의 분석에서 주요 병목 이다. 여기, 우리가 설명 하는 다양 한 길이 스케일에서 체적 데이터를 세그먼트 반자동 SuRVoS 워크 벤치를 사용 하 여 예제 데이터 집합에서 cryo 전자 단층 촬영, cryo 소프트 x 선 단층 촬영, 그리고 위상 대비 x 선 단층 촬영 기법을 사용 하 여.

볼륨 세분화 및 SuRVoS (슈퍼 지역 볼륨 세분화) 워크 벤치를 사용 하 여 생물학 물자의 분석

설명된 파이프라인은 기가바이트보다 큰 전자 현미경 데이터 세트를 세분화하여 전체 세포 형태를 추출하도록 설계되었습니다. 셀을 3D로 재구성하면 개별 요구를 중심으로 설계된 맞춤형 소프트웨어를 사용하여 3D로 직접 정성적 및 정량적 분석을 수행할 수 있으며 가상 현실을 사용하여 뷰 오클루전을 극복할 수도 있습니다.

신경교 세포와 신경 세포의 3D 재건 및 가상 현실 분석을위한 방법

궤도 컴퓨터 단층 촬영(CT) 이미지를 위한 객체 분할 프로토콜이 도입되었습니다. 초고해상도를 사용하여 궤도 구조의 실측 라벨링, CT 이미지에서 관심 볼륨 추출, 궤도 CT 이미지에 대한 2D 순차 U-Net을 사용하여 다중 라벨 분할을 모델링하는 방법을 지도 학습을 위해 설명합니다.

궤도 컴퓨터 단층 촬영 을 통한 딥러닝 기반 의료 영상 분할 적용

뇌에서 맥락총의 중요한 역할에도 불구하고 이 구조에 대한 신경 영상 연구는 신뢰할 수 있는 자동 분할 도구가 없기 때문에 부족합니다. 현재 프로토콜은 미래의 신경 영상 연구에 정보를 제공할 수 있는 맥락총의 황금 표준 수동 분할을 보장하는 것을 목표로 합니다.

뇌 MRI를 사용한 인간 맥락총의 수동 분할

자동화된 관절 공간 탐지 워크플로우 개발로 야생 동물에서 &gt;98%의 정확도로 뚜렷한 쥐 뒷발뼈의 고처리량 분할이 가능해졌습니다. 염증성 침식성 관절염이 있는 앞발과 발에 유연한 적용이 가능했으나, 성능 저하로 인해 공개된 데이터를 활용한 향후 연구에서 추가 최적화가 필요하다.

자동 관절 공간 탐지, 골 분할 정확도 향상

광 회절 한계를 극복하기위한 방법이 제시된다. 광학 반복 Gerchberg - 스턴 알고리즘을 이용하여 위상 검색 및 첫 번째 단계의 반복 하였다 이미징 시스템 변속 : 상기 방법은 두 단계를 포함한다. 합성 증가 렌즈 구경보다 높은 이미징 해상도를 수득 이동 방향을 따라 발생한다.

이동 플랫폼에서 이미징 시간 다중화 슈퍼 해결 기법

다른 물리적 매개 변수를 매우 짧은 시간 (밀리 초 미만의 제 10 호)에 역학에 영향을 미치는 때문에 비 뉴톤 유체의 낙하 충격은 복잡한 과정이다. 빠른 이미징 기술은 다른 비 뉴턴 유체의 영향 행동을 특성화하기 위해 도입된다.

비 뉴턴 유체의 낙하 충격 역학을 연구하기 위해 빠른 이미징 기술

습식 화학적 접근 방식으로 생성된 다기능 Fe2O3-Au 나노 입자의 합성 및 특성을 설명하고 레이저 조사를 사용하여 광열 특성을 조사합니다. 복합 Fe2O3-Au 나노 입자는 두 재료의 특성을 모두 유지하여 우수한 자기 및 플라즈몬 특성을 가진 다기능 구조를 생성합니다.

다기능 하이브리드 철<sub&gt; 2</sub&gt; O<sub&gt; 3</sub&gt; 효율적인 플라즈몬 난방을위한 -Au 나노 입자

여기서는 고효율 태양 전지 페 로브 스카이 트를 달성하기 위해 가의 양이온 첨가제의 혼입을 통해 용액 처리 CH 3 NH 3 PBI (3)의 특성을 조정하는 프로토콜을 제시한다.

CH의 일가 양이온 도핑<sub&gt; 3</sub&gt; NH<sub&gt; 3</sub&gt; PBI<sub&gt; 3</sub&gt; 효율적인 페 로브 스카이 트 태양 전지에 대한

레이저 도플러 신발 (LDV), 튜닝, 튜닝 기능, 및 장치 실패 및 stiction, 회피의 수정 하는 주파수 측정을 포함 하 여를 사용 하는 고정-고정 빔 디자인에 대 한 프로토콜 제공 됩니다. 네트워크 분석기를 통해 LDV 방법의 우수성 때문에 그것의 더 높은 모드 기능 시연입니다.

설계 및 효율적인 넓은 범위 가변 MEMS 필터 특성 방법론

학습하세요 Swin-PSAxialNet을 활용한 효율적인 다중 장기 분할 기법으로 딥러닝 기반 이미지 분석 정확도를 향상시키는 방법을. 데이터 전처리, 모델 학습 및 실험을 통해 검증된 이 방법은 의료 영상 분야에 활용될 수 있습니다.

Swin-PSAxialNet: 효율적인 다중 장기 분할 기법

더 많은 동영상 탐색