Name: 초음파 영상에서 갑상선 결절 검출을 위한 Swin Transformer 기반 모델 (동영상) | JoVE Journal
Uploaded: 2023-04-21T14:15:00.000+00:00
Duration: 4 min 23 s
Description: 학습하세요 초음파 영상에서 갑상선 결절을 자동 검출하는 Swin Transformer 기반 딥러닝 방법을. Python과 PyTorch로 구현하며 의료진의 업무 부담을 줄이고 진단 정확도를 향상시킵니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구는 중국 국립 자연 과학 재단(보조금 번호 32101188)과 중국 쓰촨성 과학 기술부 일반 프로젝트(보조금 번호 2021YFS0102)의 지원을 받았습니다.

이 후향적 연구는 중국 쓰촨성 쓰촨대학교 서중국병원 임상시험심사위원회의 승인을 받았으며 정보에 입각한 동의를 얻어야 하는 요건이 면제되었습니다.
1. 환경 설정
<ol><li>그래픽 처리 장치(GPU) 소프트웨어<ol><li>딥러닝 애플리케이션을 구현하기 위해서는 먼저 GPU 관련 환경을 설정해야 합니다. GPU 웹 사이트에서 GPU에 적합한 소프트웨어 및 드라이버를 다운로드하여 설치합니다. 참고: 이 연구에 사용된 자료는 재료 표를 참조하십시오.</li>
	</ol></li>
	<li>Python3.8 설치<ol><li>기기에서 터미널을 엽니다. 다음을 입력합니다. 명령줄: sudo apt-get install python3.8 python-dev python-virtualenv</li>
	</ol></li>
	<li>Pytorch1.7 설치<ol><li>공식 웹 사이트의 단계에 따라 Miniconda를 다운로드하고 설치하십시오.</li>
		<li>conda 환경을 만들고 활성화합니다. 명령줄: conda create --name SwinFasterRCNN python=3.8 -y 명령줄: conda activate SwinFasterRCNN</li>
		<li>Pytorch를 설치합니다. 명령줄: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 </li>
	</ol></li>
	<li>MMDetection 설치<ol><li>공식 Github 저장소에서 복제합니다. 명령줄: git clone https://github.com/open-mmlab/mmdetection.git</li>
		<li>MMDetection을 설치합니다. 명령줄: cd mmdetection 명령줄: pip install -v -e .</li>
	</ol></li>
</ol>2. 데이터 준비
<ol><li>데이터 수집<ol><li>초음파 이미지를 수집했습니다 (여기서는 A 급 3 차 병원에서 3,000 건). 각 사례에 진단 기록, 치료 계획, 미국 보고서 및 해당 미국 이미지가 있는지 확인하십시오.</li>
		<li>모든 미국 이미지를 "images"라는 폴더에 넣습니다. 참고: 이 연구에 사용된 데이터에는 3,000건의 사례에서 3,853개의 미국 이미지가 포함되었습니다.</li>
	</ol></li>
	<li>데이터 정리<ol><li>데이터 세트에서 림프 이미지와 같은 갑상선이 아닌 영역의 이미지를 수동으로 확인합니다.</li>
		<li>컬러 도플러 흐름이 포함된 이미지에 대한 데이터 세트를 수동으로 확인합니다.</li>
		<li>이전 두 단계에서 선택한 이미지를 삭제합니다. 참고: 데이터 정리 후 2,680건 중 3,000장의 이미지가 남았습니다.</li>
	</ol></li>
	<li>데이터 주석<ol><li>선임 의사에게 미국 이미지에서 결절 영역을 찾고 결절 경계의 윤곽을 그리도록 합니다. 참고: 주석 소프트웨어 및 프로세스는 보충 파일 1에서 찾을 수 있습니다.</li>
		<li>다른 선임 의사가 주석 결과를 검토하고 수정하도록 합니다.</li>
		<li>주석이 달린 데이터를 "Annotations"라는 별도의 폴더에 배치합니다.</li>
	</ol></li>
	<li>데이터 분할<ol><li>python 스크립트를 실행하고 2.1.2단계에서 이미지 경로를 설정하고 2.3.3단계에서 주석 경로를 설정합니다. 모든 이미지와 레이블이 지정된 해당 파일을 8:2의 비율로 학습 세트와 검증 세트로 무작위로 나눕니다. 학습 집합 데이터를 "Train" 폴더에 저장하고 유효성 검사 집합 데이터를 "Val" 폴더에 저장합니다. 참고: Python 스크립트는 보충 파일 2에서 제공됩니다.</li>
	</ol></li>
	<li>CoCo 데이터 세트 형식으로 변환 참고: MMDetection을 사용하려면 주석 정보가 포함된 json 파일과 미국 이미지가 포함된 이미지 폴더가 포함된 CoCo 데이터 세트 형식으로 데이터를 처리합니다.<ol><li>python 스크립트를 실행하고 annotations 폴더 경로 (2.3.3 단계)를 입력하여 의사가 윤곽을 그린 결절 영역을 추출하고 마스크로 변환합니다. 모든 마스크를 "Masks" 폴더에 저장합니다. 참고: Python 스크립트는 추가 파일 3에서 제공됩니다.</li>
		<li>python 스크립트를 실행하고 2.5.1단계에서 masks 폴더의 경로를 설정하여 데이터를 CoCo 형식의 데이터 세트로 만들고 US 이미지로 json 파일을 생성합니다. 참고: Python 스크립트는 보충 파일 4에서 제공됩니다.</li>
	</ol></li>
</ol>3. Swin 더 빠른 RCNN 구성
<ol><li>Swin Transformer 모델 파일(https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py)을 다운로드하여 수정한 다음 "mmdetection/mmdet/models/backbones/" 폴더에 넣습니다. vim 텍스트 편집기에서 "swin_transformer.py" 파일을 열고 보충 파일 5에 제공된 Swin Transformer 모델 파일로 수정합니다. 명령줄: vim swin_transformer.py</li>
	<li>Faster R-CNN 구성 파일의 복사본을 만들고, 백본을 Swin Transformer로 변경하고, FPN 매개 변수를 설정합니다. 명령줄: cd mmdetection/configs/faster_rcnn 명령줄: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py 참고: Swin Faster R-CNN 구성 파일(swin_faster_rcnn_swin.py)은 보충 파일 6에 제공됩니다. Swin Faster R-CNN 네트워크 구조는 그림 1에 나와 있습니다.</li>
	<li>구성 파일에서 데이터 세트 경로를 CoCo 형식 데이터 세트 경로(2.5.2단계)로 설정합니다. vim 텍스트 편집기에서 "coco_detection.py" 파일을 열고 다음 줄을 수정합니다. data_root = "데이터 세트 경로 (2.5.2 단계)" 명령줄:vim mmdetection/configs/_base_/datasets/coco_detection.py</li>
</ol>4. Swin Faster R-CNN 훈련
<ol><li>mmdetection/configs/_base_/schedules/schedule_1x.py를 편집하고 학습 속도, 옵티마이저 및 epoch를 포함한 기본 훈련 관련 파라미터를 설정합니다. vim 텍스트 편집기에서 "schedule_1x.py" 파일을 열고 다음 줄을 수정합니다. 옵티마이저 = dict(유형="AdamW", lr=0.001, 모멘텀=0.9, weight_decay=0.0001) 러너 = dict(type='EpochBasedRunner', max_epochs=48) 명령줄:vim mmdetection/configs/_base_/schedules/schedule_1x.py 참고: 이 논문의 이 프로토콜에서는 학습률을 0.001로 설정하고, AdamW 옵티마이저를 사용하고, 최대 훈련 에포크를 48로 설정하고, 배치 크기를 16으로 설정했습니다.</li>
	<li>다음 명령을 입력하여 학습을 시작합니다. 네트워크가 48 Epoch 동안 훈련을 시작하고 Swin Faster R-CNN 신경망의 훈련된 가중치가 출력 폴더에 생성될 때까지 기다립니다. 검증 세트에서 가장 높은 정확도로 모델 가중치를 저장합니다. 명령줄: cd mmdetection 명령줄: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs 참고: 이 모델은 "NVIDIA GeForce RTX3090 24G" GPU에서 훈련되었습니다. 사용된 중앙 처리 장치는 "AMD Epyc 7742 64코어 프로세서 × 128"이었고 운영 체제는 Ubuntu 18.06이었습니다. 전체 훈련 시간은 ~2시간이었습니다.</li>
</ol>5. 새 이미지에서 갑상선 결절 감지 수행
<ol><li>훈련 후, 새 이미지에서 갑상선 결절 검출을 위해 설정된 검증에서 가장 성능이 좋은 모델을 선택합니다.<ol><li>먼저 이미지 크기를 512픽셀 x 512픽셀로 조정하고 정규화합니다. 이러한 조작은 테스트 스크립트가 실행될 때 자동으로 수행됩니다. 명령줄: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output</li>
		<li>스크립트가 사전 훈련된 모델 파라미터를 Swin Faster R-CNN에 자동으로 로드하고 추론을 위해 전처리된 이미지를 Swin Faster R-CNN에 공급할 때까지 기다립니다. Swin Faster R-CNN이 각 이미지에 대한 예측 상자를 출력할 때까지 기다립니다.</li>
		<li>마지막으로, 스크립트가 각 이미지에 대해 NMS 후처리를 자동으로 수행하여 중복 탐지 상자를 제거하도록 합니다. 참고: 감지 결과는 지정된 폴더로 출력되며, 이 폴더에는 압축 파일에 감지 상자와 경계 상자 좌표가 있는 이미지가 포함되어 있습니다.</li>
	</ol></li>
</ol>

<ol><li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+ultrasound+reporting+lexicon%3A+White+paper+of+the+ACR+Thyroid+Imaging%2C+Reporting+and+Data+System+%28TIRADS%29+committee%5BTitle%5D)+AND+%22Journal+of+the+American+College+of+Radiology%22%5BJournal%5D)">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li>
<li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology%5BTitle%5D)+AND+%22Health+Information+Science+and+Systems%22%5BJournal%5D)">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5(2013).</li>
<li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer%3A+What+is+new+and+what+has+changed%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li>
<li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules%3A+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li>
<li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management%5BTitle%5D)+AND+%22The+Journal+of+Clinical+Endocrinology+%26+Metabolism%22%5BJournal%5D)">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).</li>
<li>Park, J. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li>
<li>Moon, W. -J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Benign+and+malignant+thyroid+nodules%3A+US+differentiation-Multicenter+retrospective+study%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li>
<li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules%5BTitle%5D)+AND+%22Journal+of+Clinical+Ultrasound%22%5BJournal%5D)">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li>
<li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+and+the+performance+between+faculties+and+residents%3A+US+criteria+for+benign+and+malignant+thyroid+nodules%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li>
<li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound%3A+initial+clinical+assessment%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li>
<li>Chang, T. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography%5BTitle%5D)+AND+%22Journal+of+Medical+Ultrasound%22%5BJournal%5D)">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li>
<li>Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).</li>
<li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484(2022).</li>
<li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images%5BTitle%5D)+AND+%22Medical+Physics%22%5BJournal%5D)">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li>
<li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li>
<li>Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).</li>
<li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718(2022).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagenet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li>
<li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relation+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale%5BTitle%5D)+AND+%22arXiv+preprint+arXiv%3A2010.11929%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li>
<li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+data-efficient+image+transformers+%26+distillation+through+attention%5BTitle%5D)+AND+%22arXiv%3A2012.12877%22%5BJournal%5D)">Training data-efficient image transformers & distillation through attention.</a> arXiv:2012.12877. , (2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+Transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%222021+IEEE%2FCVF+International+Conference+on+Computer+Vision+%28ICCV%29%22%5BJournal%5D)">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNet%3A+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%3A2102.04306%22%5BJournal%5D)">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li>
<li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Faster+r-cnn%3A+Towards+real-time+object+detection+with+region+proposal+networks%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li>
<li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600(2018).</li>
<li>Lin, T. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature+pyramid+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li>
<li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+wavelet+denoising+in+medical+imaging%5BTitle%5D)+AND+%222013+8th+International+Workshop+on+Systems%2C+Signal+Processing+and+their+Applications%22%5BJournal%5D)">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li>
<li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199(2022).</li>
<li>Castleman, K. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCastleman%2C+KR+%22Digital+Image+Processing%22">Digital Image Processing</a>. , Prentice Hall Press. Hoboken, NJ. (1996).</li>
<li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ssd%3A+Single+shot+multibox+detector%5BTitle%5D)+AND+%22European+Conference+on+Computer+Vision%22%5BJournal%5D)">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Yolov3%3A+An+incremental+improvement%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1804.02767%22%5BJournal%5D)">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li>
<li>Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focalloss+for+dense+object+detection%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1708.02002%22%5BJournal%5D)">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li>
<li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-end+object+detection+with+transformers%5BTitle%5D)+AND+%22Computer+Vision-ECCV+2020%3A+16th+European+Conference%22%5BJournal%5D)">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).</li>
</ol>

저자는 이해 상충을 선언하지 않습니다.

이 백서에서는 환경 설정, 데이터 준비, 모델 구성 및 네트워크 학습을 수행하는 방법에 대해 자세히 설명합니다. 환경 설정 단계에서는 종속 라이브러리가 호환되고 일치하는지 확인하기 위해 주의를 기울여야 합니다. 데이터 처리는 매우 중요한 단계입니다. 주석의 정확성을 보장하기 위해 시간과 노력을 들여야 합니다. 모델을 학습할 때 "ModuleNotFoundError"가 발생할 수 있습니다. 이 경우 "pip install" 명령을 사용하여 누락된 라이브러리를 설치해야 합니다. 검증 세트의 손실이 감소하지 않거나 크게 진동하는 경우 주석 파일을 확인하고 학습률과 배치 크기를 조정하여 손실이 수렴되도록 해야 합니다.
갑상선 결절 검출은 갑상선암 치료에 매우 중요합니다. CAD 시스템은 의사가 결절을 감지하는 데 도움을 주고, 주관적인 요인으로 인한 진단 결과의 차이를 방지하고, 결절 발견을 놓치는 것을 줄일 수 있습니다. 기존 CNN 기반 CAD 시스템과 비교하여 이 논문에서 제안하는...

갑상선암 발병률은 1970년 이래로 급격히 증가했으며, 특히 중년 여성에서 증가했다1. 갑상선 결절은 갑상선암의 발병을 예측할 수 있으며, 대부분의 갑상선 결절은 무증상이다2. 갑상선 결절의 조기 발견은 갑상선암 치료에 매우 도움이 됩니다. 따라서 현행 진료지침에 따르면 신체검사에서 결절성 갑상선종이 의심되거나 비정상적인 영상 소견이 있는 모든 환자는 추가 검사를 받아야 한다 3,4.
갑상선 초음파(US)는 갑상선 병변을 감지하고 특성화하는 데 사용되는 일반적인 방법입니다 5,6. 미국은 편리하고 저렴하며 방사선이 없는 기술입니다. 그러나, US의 적용은 오퍼레이터 7,8에 의해 쉽게 영향을 받는다. 갑상선 결절의 모양, 크기, 에코 발생 및 질감과 같은 특징은 미국 이미지에서 쉽게 구별할 수 있습니다. 석회화, 에코 발생 및 불규칙한 경계와 같은 특정 미국 특징이 종종 갑상선 결절을 식별하는 기준으로 간주되지만 관찰자 간 가변성의 존재는 피할 수 없습니다 8,9. 다양한 수준의 경험을 가진 방사선 전문의의 진단 결과는 다릅니다. 경험이 없는 방사선 전문의는 숙련된 방사선 전문의보다 오진할 가능성이 더 큽니다. 반사, 그림자 및 에코와 같은 미국의 일부 특성은 이미지 품질을 저하시킬 수 있습니다. 미국 이미징의 특성으로 인한 이러한 이미지 품질 저하로 인해 숙련된 의사조차도 결절을 정확하게 찾기가 어렵습니다.
갑상선 결절에 대한 컴퓨터 지원 진단(CAD)은 최근 몇 년 동안 빠르게 발전했으며 다양한 의사로 인한 오류를 효과적으로 줄이고 방사선 전문의가 결절을 빠르고 정확하게 진단하는 데 도움을 줄 수 있습니다10,11. 갑상선 미국 결절 분석을 위해 다양한 CNN 기반 CAD 시스템이 제안되었으며, 여기에는 세분화 12,13, 검출 14,15 및 분류 16,17이 포함됩니다. CNN은 다층, 지도 학습 모델(18)이며, CNN의 핵심 모듈은 컨볼루션 및 풀링 계층이다. 컨볼루션 계층은 특징 추출에 사용되고, 풀링 계층은 다운샘플링에 사용됩니다. 그림자 컨벌루션 계층은 텍스처, 가장자리, 윤곽선과 같은 기본 특징을 추출할 수 있는 반면, 심층 컨벌루션 계층은 높은 수준의 의미론적 특징을 학습합니다.
CNN은 컴퓨터 비전 19,20,21에서 큰 성공을 거두었습니다. 그러나 CNN은 컨볼루션 계층의 제한된 유효 수용 필드로 인해 장거리 컨텍스트 종속성을 캡처하지 못합니다. 과거에는 이미지 분류를 위한 백본 아키텍처가 주로 CNN을 사용했습니다. 비전 트랜스포머(ViT)22,23의 출현으로 이러한 추세가 바뀌었고 이제 많은 최첨단 모델이 트랜스포머를 백본으로 사용합니다. 비중첩 이미지 패치에 기초하여, ViT는 표준 트랜스포머 인코더(25)를 사용하여 공간 관계를 전역적으로 모델링한다. Swin Transformer24는 기능을 학습하기 위해 시프트 윈도우를 추가로 도입합니다. 시프트 윈도우는 효율성을 높일 뿐만 아니라 창에서 자기 주의가 계산되기 때문에 시퀀스의 길이를 크게 줄입니다. 동시에, 인접한 두 창 사이의 상호 작용은 이동 (이동) 작업을 통해 이루어질 수 있습니다. 컴퓨터 비전에 Swin Transformer를 성공적으로 적용함으로써 초음파 이미지 분석을 위한 트랜스포머 기반 아키텍처에 대한 조사가 이루어졌습니다(26).
최근 Li et al. 갑상선 유두암 검출을 위한 딥 러닝 접근법28 Faster R-CNN27에서 영감을 받았습니다. 더 빠른 속도 R-CNN은 고전적인 CNN 기반 개체 감지 아키텍처입니다. 원래 Faster R-CNN에는 CNN 백본, RPN(지역 제안 네트워크), ROI 풀링 계층 및 검색 헤드의 네 가지 모듈이 있습니다. CNN 백본은 기본 conv+bn+relu+pooling 계층 집합을 사용하여 입력 이미지에서 특징 맵을 추출합니다. 그런 다음 기능 맵이 RPN 및 ROI 풀링 계층에 공급됩니다. RPN 네트워크의 역할은 지역 제안을 생성하는 것입니다. 이 모듈은 softmax를 사용하여 앵커가 양수인지 여부를 확인하고 경계 상자 회귀를 통해 정확한 앵커를 생성합니다. ROI 풀링 계층은 입력 특징 맵과 제안을 수집하여 제안 특징 맵을 추출하고 제안 특징 맵을 후속 탐지 헤드에 공급합니다. 탐지 헤드는 제안 특징 맵을 사용하여 객체를 분류하고 경계 상자 회귀를 통해 탐지 상자의 정확한 위치를 얻습니다.
이 논문은 Faster R-CNN의 CNN 백본을 Swin Transformer로 대체하여 형성된 Swin Faster R-CNN이라는 새로운 갑상선 결절 감지 네트워크를 제시하며, 그 결과 초음파 이미지에서 결절 감지를 위한 기능을 더 잘 추출할 수 있습니다. 또한, 특징 피라미드 네트워크(FPN)29 는 다양한 스케일의 특징을 집계하여 다양한 크기의 결절에 대한 모델의 검출 성능을 향상시키는 데 사용됩니다.

<table><tbody><tr><td>GPU RTX3090</td><td>Nvidia</td><td>1</td><td>24G GPU</td></tr><tr><td>mmdetection2.11.0</td><td>SenseTime</td><td>4</td><td>https://github.com/open-mmlab/mmdetection.git</td></tr><tr><td>python3.8</td><td>&mdash;</td><td>2</td><td>https://www.python.org</td></tr><tr><td>pytorch1.7.1</td><td>페이스북</td><td>3</td><td>https://pytorch.org</td></tr></tbody></table>

초음파 영상에서 갑상선 결절 검출을 위한 swin transformer 기반 모델

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

최근 몇 년 동안 갑상선암 발병률이 증가하고 있습니다. 갑상선 결절 검출은 갑상선암의 발견과 치료 모두에 중요합니다. CNN(Convolutional Neural Networks)은 갑상선 초음파 이미지 분석 작업에서 좋은 결과를 얻었습니다. 그러나 컨볼루션 레이어의 제한된 유효 수용 필드로 인해 CNN은 초음파 이미지에서 갑상선 결절을 식별하는 데 중요한 장거리 문맥 종속성을 포착하지 못합니다. 트랜스포머 네트워크는 장거리 컨텍스트 정보를 캡처하는 데 효과적입니다. 이에 영감을 받아 Swin Transformer 백본과 Faster R-CNN을 결합한 새로운 갑상선 결절 검출 방법을 제안합니다. 특히, 초음파 영상은 먼저 임베딩의 1D 시퀀스로 투영된 다음 계층적 Swin Transformer에 공급됩니다. 
Swin 트랜스포머 백본은 자기 주의력 계산을 위해 이동된 창을 활용하여 5가지 다른 스케일에서 기능을 추출합니다. 그 후, FPN(Feature Pyramid Network)을 사용하여 서로 다른 스케일의 피처를 융합합니다. 마지막으로, 감지 헤드는 경계 상자와 해당 신뢰도 점수를 예측하는 데 사용됩니다. 2,680명의 환자로부터 수집한 데이터를 사용하여 실험을 수행했으며, 그 결과 이 방법이 44.8%의 최고의 mAP 점수를 달성하여 CNN 기반 기준선을 능가하는 것으로 나타났습니다. 또한 경쟁사보다 감도(90.5%)가 더 좋아졌습니다. 이는 이 모델의 컨텍스트 모델링이 갑상선 결절 감지에 효과적임을 나타냅니다.

갑상선 미국 이미지는 2008 년 9 월부터 2018 년 2 월까지 중국의 두 병원에서 수집되었습니다. 본 연구에 미국 이미지를 포함하기 위한 적격성 기준은 생검 및 외과적 치료 전의 기존 미국 검사, 생검 또는 수술 후 병리 진단, 18세 ≥세였습니다. 제외 기준은 갑상선 조직이 없는 영상이었다.
3,000개의 초음파 영상에는 1,384개의 악성 결절과 1,616개의 양성 결절이 포함되었습니다. 악성 결절의 대부분(90%)은 유두암이었고 양성 결절의 66%는 결절성 갑상선종이었습니다. 여기서 결절의 25%는 5mm보다 작았고, 38%는 5mm에서 10mm 사이였으며, 37%는 10mm보다 컸습니다.
모든 미국 이미지는 Philips IU22 및 DC-80을 사용하여 수집되었으며 기본 갑상선 검사 모드가 사용되었습니다. 두 장비 모두 5-13MHz 선형 프로브가 장착되었습니다. 하부 갑상선 변연부의 좋은 노출을 위해 모든 환자는 ...

여기에서는 Swin Transformer를 백본으로 사용하여 장거리 컨텍스트 모델링을 수행하는 초음파 영상에서 갑상선 결절 감지를 위한 새로운 모델을 제안합니다. 실험은 감도와 정확성 측면에서 잘 수행된다는 것을 증명합니다.

초음파 영상에서 갑상선 결절 검출을 위한 Swin Transformer 기반 모델

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

이 프로그램은 갑상선 결절을 감지하기 위한 자동적이고 효율적인 조치를 구현하여 향후 의사의 업무량을 줄일 수 있습니다. 이 기술은 Swin 변압기를 결절 검출 네트워크에 적용합니다. Swin Transformers는 장거리 콘텐츠 정보를 캡처하는 데 효과적이며, 이는 결절 구금의 감도를 향상시키는 데 매우 도움이 됩니다.시작하려면 컴퓨터에서 터미널을 열고 명령줄에 sudo apt-get install python3.8을 입력하여 Python 3.8을 설치합니다. PyTorch 1.7을 설치하려면 Miniconda의 공식 웹 사이트로 이동하여 설치하십시오. 그런 다음, 명령줄에 화면에 표시된 명령을 입력하여 Conda 환경을 만들고 conda activate SwinFasterRCNN을 입력하여 활성화합니다.명령줄에 표시된 명령을 작성하여 PyTorch를 설치합니다. MM 검색 설치의 경우 공식 GitHub 리포지토리에서 복제한 다음 명령줄에 pip install v e 명령을 작성하여 MM 검색을 설치합니다. schedule_1x 엽니다.py 파일을 열고 파일을 편집하여 옵티마이저, 학습률 및 epic을 포함한 기본 훈련 관련 매개 변수를 설정합니다. 화면에 표시된 명령을 입력하여 학습을 시작합니다. 신경망이 48개의 에픽에 대한 훈련을 시작할 때까지 기다리고, SwinFasterRCNN 신경망의 훈련된 결과 가중치가 출력 폴더에 생성될 때까지 기다립니다.검증 세트에서 가장 높은 정확도로 모델 가중치를 저장합니다. 훈련 후, 새 이미지에서 갑상선 결절 검출을 위해 설정된 검증에서 가장 성능이 좋은 모델을 선택합니다. 테스트 스크립트를 실행하여 이미지 크기를 512 x 512 픽셀로 조정하고 정규화합니다.스크립트가 미리 학습된 모델 매개 변수를 SwinFasterRCNN에 자동으로 로드하고 유추를 위해 미리 처리된 이미지를 SwinFasterRCNN에 공급할 때까지 기다립니다. SwinFasterRCNN이 각 이미지에 대한 예측 상자를 출력할 때까지 기다립니다. 마지막으로, 스크립트가 각 이미지에 대해 NMS 사후 처리를 자동으로 수행하여 중복 탐지 상자를 제거하도록 합니다.동일한 이미지에 대한 감지 결과가 지정된 행에 표시됩니다. 열은 SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet 및 DETR에 대한 검색 결과입니다. 지역의 실측 자료는 녹색 직사각형 상자로 표시됩니다.감지 결과는 빨간색 직사각형 상자로 구성됩니다. 많은 실험에 의해 결정되어야 하는 수렴을 보장하기 위해 적절한 하이퍼 매개변수를 선택하는 것이 매우 중요합니다.

a-swin-transformer-based-model-for-thyroid-nodule-detection

Research

연구

JoVE Journal

Medicine

의학

여기에서는 갑상선 수술의 수술 전 평가를 위한 개인화된 3D 프린팅 모델을 구축하는 새로운 방법을 제안합니다. 수술 전 논의에 도움이 되어 갑상선 수술의 어려움을 줄여줍니다.

갑상선 수술에서 수술 전 평가를 위한 개인화된 3D 프린팅 모델

현재 프로토콜은 전체 마우스 갑상선을 시각화하고 역형성 갑상선 암종의 성장을 모니터링하기 위한 고주파 초음파를 설명합니다.

유전자 조작 마우스 모델에서 동소 ATC 종양 분석을 위한 고해상도 초음파 검사

이 연구의 목적은 의사와 환자 간의 의사 소통 다리 역할을 하고 사전 진단 및 예후 평가를 위한 최첨단 도구이기도 한 폐 결절의 새로운 3D 디지털 모델을 개발하는 것입니다.

폐 결절의 진단 및 치료를 위한 3D 디지털 모델

현재 프로토콜은 이전 분할 방법에 비해 뛰어난 정확도를 달성한 Swin-PSAxialNet이라는 효율적인 다기관 분할 방법을 설명합니다. 이 절차의 주요 단계에는 데이터 세트 수집, 환경 구성, 데이터 전처리, 모델 학습 및 비교, 절제 실험이 포함됩니다.

Swin-PSAxialNet: 효율적인 다중 장기 분할 기법

여기에서는 갑상선 구조 및 기능 정보의 동기식 시각화를 가능하게 하는 다중 평면 3D 재구성과 컬러 도플러 융합을 결합한 5D 초음파 기술을 제시합니다. 사각지대를 최소화함으로써 이 방법은 병변의 위치를 빠르고 정확하게 파악하여 진단 정확도를 향상시켜 특히 초보 의사에게 도움이 됩니다.

갑상선 병변의 정확하고 신속한 국소화를 위해 컬러 도플러 매핑과 통합된 동기식 삼면 재구성

잠복기 암 치료를 모니터링하기위한 Cerenkov 발광 이미징 (CLI)의 사용은 여기에 설명되어 있습니다. 이 방법은 Cerenkov 방사선 (CR) 및 방사성 동위 원소 표지 된 프로브를 시각화하는 광학 이미징 (오이)의 활용하므로 잠복기 치료 모니터링 및 약물 검사에서 PET에 대한 대안을 제공합니다.

암 치료 모니터링을위한 Cerenkov 발광 이미징 (CLI)

퇴행성 갑상선 암의 동소 마우스 모델의 생성은 여기에 설명되어 있습니다. 이 기술은 따라서 질병의 진행뿐만 아니라 화면 혁신적인 치료 개입을 연구하는 많은 임상 관련 설정을 생성, 면역 결핍 쥐의 갑상선에 인간의 퇴행성 갑상선 암 세포의 수술 위치를 사용합니다.

역 형성 갑상선 암의 동소 마우스 모델

흉골 갑상선 병변은 공통이며, 악성 종양과 구별 될 필요가있다. 경피적 세침 생검을 얻기 인해 retrosternal 위치 할 수 없습니다. 이 문서에서는 기관지 초음파 유도 기관지 바늘 흡인 (EBUS-TBNA)를 사용하여 흉골 하 갑상선 병변의 조직 검사를위한 프로토콜을 제안한다.

흉골 하 갑상선 조직 검사는 기관지 초음파 유도 기관지 바늘 흡인을 사용하여

이 연구 돼지 모델에서 갑 상선 수술의 내부 작용 신경 모니터링의 표준 프로토콜을 개발 하는 것을 목표로. 여기, 우리는 일반 마 취, 전극의 다른 종류를 비교 하 고 정상적이 고 부상 재발 후 두 신경의 electrophysiological 특성 조사를 설명 하는 프로토콜을 제시.

돼지 모델에서 갑 상선 수술의 내부 작용 신경 모니터링

선법 myograph 혈관 부드러운 근육 기능과 화면 새로운 약물을 조사 하는 데 사용 됩니다. 우리 보고 마우스 mesenteric 동맥의 isometric 수축 측정 및 혈관 평활 근의 새로운 relaxants 심사에 대 한 자세한 프로토콜.

Myography 와이어를 사용 하 여 마우스 Mesenteric 동맥의 isometric 수축 측정

학습하세요 초음파 영상에서 갑상선 결절을 자동 검출하는 Swin Transformer 기반 딥러닝 방법을. Python과 PyTorch로 구현하며 의료진의 업무 부담을 줄이고 진단 정확도를 향상시킵니다.

초음파 영상에서 갑상선 결절 검출을 위한 Swin Transformer 기반 모델

더 많은 동영상 탐색