Summary
여기에서는 Swin Transformer를 백본으로 사용하여 장거리 컨텍스트 모델링을 수행하는 초음파 영상에서 갑상선 결절 감지를 위한 새로운 모델을 제안합니다. 실험은 감도와 정확성 측면에서 잘 수행된다는 것을 증명합니다.
Abstract
최근 몇 년 동안 갑상선암 발병률이 증가하고 있습니다. 갑상선 결절 검출은 갑상선암의 발견과 치료 모두에 중요합니다. CNN(Convolutional Neural Networks)은 갑상선 초음파 이미지 분석 작업에서 좋은 결과를 얻었습니다. 그러나 컨볼루션 레이어의 제한된 유효 수용 필드로 인해 CNN은 초음파 이미지에서 갑상선 결절을 식별하는 데 중요한 장거리 문맥 종속성을 포착하지 못합니다. 트랜스포머 네트워크는 장거리 컨텍스트 정보를 캡처하는 데 효과적입니다. 이에 영감을 받아 Swin Transformer 백본과 Faster R-CNN을 결합한 새로운 갑상선 결절 검출 방법을 제안합니다. 특히, 초음파 영상은 먼저 임베딩의 1D 시퀀스로 투영된 다음 계층적 Swin Transformer에 공급됩니다.
Swin 트랜스포머 백본은 자기 주의력 계산을 위해 이동된 창을 활용하여 5가지 다른 스케일에서 기능을 추출합니다. 그 후, FPN(Feature Pyramid Network)을 사용하여 서로 다른 스케일의 피처를 융합합니다. 마지막으로, 감지 헤드는 경계 상자와 해당 신뢰도 점수를 예측하는 데 사용됩니다. 2,680명의 환자로부터 수집한 데이터를 사용하여 실험을 수행했으며, 그 결과 이 방법이 44.8%의 최고의 mAP 점수를 달성하여 CNN 기반 기준선을 능가하는 것으로 나타났습니다. 또한 경쟁사보다 감도(90.5%)가 더 좋아졌습니다. 이는 이 모델의 컨텍스트 모델링이 갑상선 결절 감지에 효과적임을 나타냅니다.
Introduction
갑상선암 발병률은 1970년 이래로 급격히 증가했으며, 특히 중년 여성에서 증가했다1. 갑상선 결절은 갑상선암의 발병을 예측할 수 있으며, 대부분의 갑상선 결절은 무증상이다2. 갑상선 결절의 조기 발견은 갑상선암 치료에 매우 도움이 됩니다. 따라서 현행 진료지침에 따르면 신체검사에서 결절성 갑상선종이 의심되거나 비정상적인 영상 소견이 있는 모든 환자는 추가 검사를 받아야 한다 3,4.
갑상선 초음파(US)는 갑상선 병변을 감지하고 특성화하는 데 사용되는 일반적인 방법입니다 5,6. 미국은 편리하고 저렴하며 방사선이 없는 기술입니다. 그러나, US의 적용은 오퍼레이터 7,8에 의해 쉽게 영향을 받는다. 갑상선 결절의 모양, 크기, 에코 발생 및 질감과 같은 특징은 미국 이미지에서 쉽게 구별할 수 있습니다. 석회화, 에코 발생 및 불규칙한 경계와 같은 특정 미국 특징이 종종 갑상선 결절을 식별하는 기준으로 간주되지만 관찰자 간 가변성의 존재는 피할 수 없습니다 8,9. 다양한 수준의 경험을 가진 방사선 전문의의 진단 결과는 다릅니다. 경험이 없는 방사선 전문의는 숙련된 방사선 전문의보다 오진할 가능성이 더 큽니다. 반사, 그림자 및 에코와 같은 미국의 일부 특성은 이미지 품질을 저하시킬 수 있습니다. 미국 이미징의 특성으로 인한 이러한 이미지 품질 저하로 인해 숙련된 의사조차도 결절을 정확하게 찾기가 어렵습니다.
갑상선 결절에 대한 컴퓨터 지원 진단(CAD)은 최근 몇 년 동안 빠르게 발전했으며 다양한 의사로 인한 오류를 효과적으로 줄이고 방사선 전문의가 결절을 빠르고 정확하게 진단하는 데 도움을 줄 수 있습니다10,11. 갑상선 미국 결절 분석을 위해 다양한 CNN 기반 CAD 시스템이 제안되었으며, 여기에는 세분화 12,13, 검출 14,15 및 분류 16,17이 포함됩니다. CNN은 다층, 지도 학습 모델(18)이며, CNN의 핵심 모듈은 컨볼루션 및 풀링 계층이다. 컨볼루션 계층은 특징 추출에 사용되고, 풀링 계층은 다운샘플링에 사용됩니다. 그림자 컨벌루션 계층은 텍스처, 가장자리, 윤곽선과 같은 기본 특징을 추출할 수 있는 반면, 심층 컨벌루션 계층은 높은 수준의 의미론적 특징을 학습합니다.
CNN은 컴퓨터 비전 19,20,21에서 큰 성공을 거두었습니다. 그러나 CNN은 컨볼루션 계층의 제한된 유효 수용 필드로 인해 장거리 컨텍스트 종속성을 캡처하지 못합니다. 과거에는 이미지 분류를 위한 백본 아키텍처가 주로 CNN을 사용했습니다. 비전 트랜스포머(ViT)22,23의 출현으로 이러한 추세가 바뀌었고 이제 많은 최첨단 모델이 트랜스포머를 백본으로 사용합니다. 비중첩 이미지 패치에 기초하여, ViT는 표준 트랜스포머 인코더(25)를 사용하여 공간 관계를 전역적으로 모델링한다. Swin Transformer24는 기능을 학습하기 위해 시프트 윈도우를 추가로 도입합니다. 시프트 윈도우는 효율성을 높일 뿐만 아니라 창에서 자기 주의가 계산되기 때문에 시퀀스의 길이를 크게 줄입니다. 동시에, 인접한 두 창 사이의 상호 작용은 이동 (이동) 작업을 통해 이루어질 수 있습니다. 컴퓨터 비전에 Swin Transformer를 성공적으로 적용함으로써 초음파 이미지 분석을 위한 트랜스포머 기반 아키텍처에 대한 조사가 이루어졌습니다(26).
최근 Li et al. 갑상선 유두암 검출을 위한 딥 러닝 접근법28 Faster R-CNN27에서 영감을 받았습니다. 더 빠른 속도 R-CNN은 고전적인 CNN 기반 개체 감지 아키텍처입니다. 원래 Faster R-CNN에는 CNN 백본, RPN(지역 제안 네트워크), ROI 풀링 계층 및 검색 헤드의 네 가지 모듈이 있습니다. CNN 백본은 기본 conv+bn+relu+pooling 계층 집합을 사용하여 입력 이미지에서 특징 맵을 추출합니다. 그런 다음 기능 맵이 RPN 및 ROI 풀링 계층에 공급됩니다. RPN 네트워크의 역할은 지역 제안을 생성하는 것입니다. 이 모듈은 softmax를 사용하여 앵커가 양수인지 여부를 확인하고 경계 상자 회귀를 통해 정확한 앵커를 생성합니다. ROI 풀링 계층은 입력 특징 맵과 제안을 수집하여 제안 특징 맵을 추출하고 제안 특징 맵을 후속 탐지 헤드에 공급합니다. 탐지 헤드는 제안 특징 맵을 사용하여 객체를 분류하고 경계 상자 회귀를 통해 탐지 상자의 정확한 위치를 얻습니다.
이 논문은 Faster R-CNN의 CNN 백본을 Swin Transformer로 대체하여 형성된 Swin Faster R-CNN이라는 새로운 갑상선 결절 감지 네트워크를 제시하며, 그 결과 초음파 이미지에서 결절 감지를 위한 기능을 더 잘 추출할 수 있습니다. 또한, 특징 피라미드 네트워크(FPN)29 는 다양한 스케일의 특징을 집계하여 다양한 크기의 결절에 대한 모델의 검출 성능을 향상시키는 데 사용됩니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 후향적 연구는 중국 쓰촨성 쓰촨대학교 서중국병원 임상시험심사위원회의 승인을 받았으며 정보에 입각한 동의를 얻어야 하는 요건이 면제되었습니다.
1. 환경 설정
- 그래픽 처리 장치(GPU) 소프트웨어
- 딥러닝 애플리케이션을 구현하기 위해서는 먼저 GPU 관련 환경을 설정해야 합니다. GPU 웹 사이트에서 GPU에 적합한 소프트웨어 및 드라이버를 다운로드하여 설치합니다.
참고: 이 연구에 사용된 자료는 재료 표를 참조하십시오.
- 딥러닝 애플리케이션을 구현하기 위해서는 먼저 GPU 관련 환경을 설정해야 합니다. GPU 웹 사이트에서 GPU에 적합한 소프트웨어 및 드라이버를 다운로드하여 설치합니다.
- Python3.8 설치
- 기기에서 터미널을 엽니다. 다음을 입력합니다.
명령줄: sudo apt-get install python3.8 python-dev python-virtualenv
- 기기에서 터미널을 엽니다. 다음을 입력합니다.
- Pytorch1.7 설치
- 공식 웹 사이트의 단계에 따라 Miniconda를 다운로드하고 설치하십시오.
- conda 환경을 만들고 활성화합니다.
명령줄: conda create --name SwinFasterRCNN python=3.8 -y
명령줄: conda activate SwinFasterRCNN - Pytorch를 설치합니다.
명령줄: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
- MMDetection 설치
- 공식 Github 저장소에서 복제합니다.
명령줄: git clone https://github.com/open-mmlab/mmdetection.git - MMDetection을 설치합니다.
명령줄: cd mmdetection
명령줄: pip install -v -e .
- 공식 Github 저장소에서 복제합니다.
2. 데이터 준비
- 데이터 수집
- 초음파 이미지를 수집했습니다 (여기서는 A 급 3 차 병원에서 3,000 건). 각 사례에 진단 기록, 치료 계획, 미국 보고서 및 해당 미국 이미지가 있는지 확인하십시오.
- 모든 미국 이미지를 "images"라는 폴더에 넣습니다.
참고: 이 연구에 사용된 데이터에는 3,000건의 사례에서 3,853개의 미국 이미지가 포함되었습니다.
- 데이터 정리
- 데이터 세트에서 림프 이미지와 같은 갑상선이 아닌 영역의 이미지를 수동으로 확인합니다.
- 컬러 도플러 흐름이 포함된 이미지에 대한 데이터 세트를 수동으로 확인합니다.
- 이전 두 단계에서 선택한 이미지를 삭제합니다.
참고: 데이터 정리 후 2,680건 중 3,000장의 이미지가 남았습니다.
- 데이터 주석
- 선임 의사에게 미국 이미지에서 결절 영역을 찾고 결절 경계의 윤곽을 그리도록 합니다.
참고: 주석 소프트웨어 및 프로세스는 보충 파일 1에서 찾을 수 있습니다. - 다른 선임 의사가 주석 결과를 검토하고 수정하도록 합니다.
- 주석이 달린 데이터를 "Annotations"라는 별도의 폴더에 배치합니다.
- 선임 의사에게 미국 이미지에서 결절 영역을 찾고 결절 경계의 윤곽을 그리도록 합니다.
- 데이터 분할
- python 스크립트를 실행하고 2.1.2단계에서 이미지 경로를 설정하고 2.3.3단계에서 주석 경로를 설정합니다. 모든 이미지와 레이블이 지정된 해당 파일을 8:2의 비율로 학습 세트와 검증 세트로 무작위로 나눕니다. 학습 집합 데이터를 "Train" 폴더에 저장하고 유효성 검사 집합 데이터를 "Val" 폴더에 저장합니다.
참고: Python 스크립트는 보충 파일 2에서 제공됩니다.
- python 스크립트를 실행하고 2.1.2단계에서 이미지 경로를 설정하고 2.3.3단계에서 주석 경로를 설정합니다. 모든 이미지와 레이블이 지정된 해당 파일을 8:2의 비율로 학습 세트와 검증 세트로 무작위로 나눕니다. 학습 집합 데이터를 "Train" 폴더에 저장하고 유효성 검사 집합 데이터를 "Val" 폴더에 저장합니다.
- CoCo 데이터 세트 형식으로 변환
참고: MMDetection을 사용하려면 주석 정보가 포함된 json 파일과 미국 이미지가 포함된 이미지 폴더가 포함된 CoCo 데이터 세트 형식으로 데이터를 처리합니다.- python 스크립트를 실행하고 annotations 폴더 경로 (2.3.3 단계)를 입력하여 의사가 윤곽을 그린 결절 영역을 추출하고 마스크로 변환합니다. 모든 마스크를 "Masks" 폴더에 저장합니다.
참고: Python 스크립트는 추가 파일 3에서 제공됩니다. - python 스크립트를 실행하고 2.5.1단계에서 masks 폴더의 경로를 설정하여 데이터를 CoCo 형식의 데이터 세트로 만들고 US 이미지로 json 파일을 생성합니다.
참고: Python 스크립트는 보충 파일 4에서 제공됩니다.
- python 스크립트를 실행하고 annotations 폴더 경로 (2.3.3 단계)를 입력하여 의사가 윤곽을 그린 결절 영역을 추출하고 마스크로 변환합니다. 모든 마스크를 "Masks" 폴더에 저장합니다.
3. Swin 더 빠른 RCNN 구성
- Swin Transformer 모델 파일(https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py)을 다운로드하여 수정한 다음 "mmdetection/mmdet/models/backbones/" 폴더에 넣습니다. vim 텍스트 편집기에서 "swin_transformer.py" 파일을 열고 보충 파일 5에 제공된 Swin Transformer 모델 파일로 수정합니다.
명령줄: vim swin_transformer.py - Faster R-CNN 구성 파일의 복사본을 만들고, 백본을 Swin Transformer로 변경하고, FPN 매개 변수를 설정합니다.
명령줄: cd mmdetection/configs/faster_rcnn
명령줄: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
참고: Swin Faster R-CNN 구성 파일(swin_faster_rcnn_swin.py)은 보충 파일 6에 제공됩니다. Swin Faster R-CNN 네트워크 구조는 그림 1에 나와 있습니다. - 구성 파일에서 데이터 세트 경로를 CoCo 형식 데이터 세트 경로(2.5.2단계)로 설정합니다. vim 텍스트 편집기에서 "coco_detection.py" 파일을 열고 다음 줄을 수정합니다.
data_root = "데이터 세트 경로 (2.5.2 단계)"
명령줄:vim mmdetection/configs/_base_/datasets/coco_detection.py
4. Swin Faster R-CNN 훈련
- mmdetection/configs/_base_/schedules/schedule_1x.py를 편집하고 학습 속도, 옵티마이저 및 epoch를 포함한 기본 훈련 관련 파라미터를 설정합니다. vim 텍스트 편집기에서 "schedule_1x.py" 파일을 열고 다음 줄을 수정합니다.
옵티마이저 = dict(유형="AdamW", lr=0.001, 모멘텀=0.9, weight_decay=0.0001)
러너 = dict(type='EpochBasedRunner', max_epochs=48)
명령줄:vim mmdetection/configs/_base_/schedules/schedule_1x.py
참고: 이 논문의 이 프로토콜에서는 학습률을 0.001로 설정하고, AdamW 옵티마이저를 사용하고, 최대 훈련 에포크를 48로 설정하고, 배치 크기를 16으로 설정했습니다. - 다음 명령을 입력하여 학습을 시작합니다. 네트워크가 48 Epoch 동안 훈련을 시작하고 Swin Faster R-CNN 신경망의 훈련된 가중치가 출력 폴더에 생성될 때까지 기다립니다. 검증 세트에서 가장 높은 정확도로 모델 가중치를 저장합니다.
명령줄: cd mmdetection
명령줄: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
참고: 이 모델은 "NVIDIA GeForce RTX3090 24G" GPU에서 훈련되었습니다. 사용된 중앙 처리 장치는 "AMD Epyc 7742 64코어 프로세서 × 128"이었고 운영 체제는 Ubuntu 18.06이었습니다. 전체 훈련 시간은 ~2시간이었습니다.
5. 새 이미지에서 갑상선 결절 감지 수행
- 훈련 후, 새 이미지에서 갑상선 결절 검출을 위해 설정된 검증에서 가장 성능이 좋은 모델을 선택합니다.
- 먼저 이미지 크기를 512픽셀 x 512픽셀로 조정하고 정규화합니다. 이러한 조작은 테스트 스크립트가 실행될 때 자동으로 수행됩니다.
명령줄: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output - 스크립트가 사전 훈련된 모델 파라미터를 Swin Faster R-CNN에 자동으로 로드하고 추론을 위해 전처리된 이미지를 Swin Faster R-CNN에 공급할 때까지 기다립니다. Swin Faster R-CNN이 각 이미지에 대한 예측 상자를 출력할 때까지 기다립니다.
- 마지막으로, 스크립트가 각 이미지에 대해 NMS 후처리를 자동으로 수행하여 중복 탐지 상자를 제거하도록 합니다.
참고: 감지 결과는 지정된 폴더로 출력되며, 이 폴더에는 압축 파일에 감지 상자와 경계 상자 좌표가 있는 이미지가 포함되어 있습니다.
- 먼저 이미지 크기를 512픽셀 x 512픽셀로 조정하고 정규화합니다. 이러한 조작은 테스트 스크립트가 실행될 때 자동으로 수행됩니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
갑상선 미국 이미지는 2008 년 9 월부터 2018 년 2 월까지 중국의 두 병원에서 수집되었습니다. 본 연구에 미국 이미지를 포함하기 위한 적격성 기준은 생검 및 외과적 치료 전의 기존 미국 검사, 생검 또는 수술 후 병리 진단, 18세 ≥세였습니다. 제외 기준은 갑상선 조직이 없는 영상이었다.
3,000개의 초음파 영상에는 1,384개의 악성 결절과 1,616개의 양성 결절이 포함되었습니다. 악성 결절의 대부분(90%)은 유두암이었고 양성 결절의 66%는 결절성 갑상선종이었습니다. 여기서 결절의 25%는 5mm보다 작았고, 38%는 5mm에서 10mm 사이였으며, 37%는 10mm보다 컸습니다.
모든 미국 이미지는 Philips IU22 및 DC-80을 사용하여 수집되었으며 기본 갑상선 검사 모드가 사용되었습니다. 두 장비 모두 5-13MHz 선형 프로브가 장착되었습니다. 하부 갑상선 변연부의 좋은 노출을 위해 모든 환자는 등을 펴고 앙와위 자세로 검사했습니다. 갑상선 엽과 협부는 모두 American College of Radiology 인증 표준에 따라 세로 및 횡단면에서 스캔되었습니다. 모든 검사는 ≥10년의 임상 경험을 가진 두 명의 선임 갑상선 방사선 전문의가 수행했습니다. 갑상선 진단은 미세 바늘 흡인 생검 또는 갑상선 수술의 조직병리학적 소견을 기반으로 했습니다.
실생활에서, 미국 이미지들은 노이즈에 의해 손상되기 때문에, 웨이블릿 변환(wavelet transform)(30), 압축 감지(compressive sensing)(31), 히스토그램 등화(histogram equalization)(32)에 기초한 이미지 노이즈 제거(image)와 같은 미국 이미지들의 적절한 전처리를 수행하는 것이 중요하다. 이 작업에서는 히스토그램 이퀄라이제이션을 사용하여 미국 이미지를 전처리하고 이미지 품질을 향상시키며 노이즈로 인한 이미지 품질 저하를 완화했습니다.
다음에서는 참 긍정, 거짓 긍정, 참 음성 및 거짓 음성을 각각 TP, FP, TN 및 FN이라고 합니다. mAP, 민감도 및 특이도를 사용하여 모델의 결절 검출 성능을 평가했습니다. mAP는 물체 감지의 일반적인 메트릭입니다. 민감도 및 특이도는 식 (1) 및 식 (2)를 사용하여 계산하였다:
(1개)
(2개)
이 논문에서 TP는 >0.3의 예측 상자와 실측 상자 사이의 교차점(IoU)과 신뢰도 점수 >0.6을 갖는 올바르게 감지된 결절의 수로 정의됩니다. IoU는 합집합에 대한 교차점이며 방정식 (3)을 사용하여 계산됩니다.
(3)
SSD 33, YOLO-v334, CNN 백본 기반 Faster R-CNN27, RetinaNet 35 및 DETR 36을 포함한 여러 고전적인 객체 감지 네트워크를 비교했습니다. YOLO-v3 및 SSD는 단일 단계 감지 네트워크이고, DETR은 트랜스포머 기반 객체 감지 네트워크이며, Faster R-CNN 및 RetinaNet은 2단계 감지 네트워크입니다. 표 1은 Swin Faster R-CNN의 성능이 다른 방법보다 우수하여 CNN 백본의 Faster R-CNN보다 0.028mAP, YOLO-v3보다 0.037m 높은 0.448mAP에 도달했음을 보여줍니다. Swin Faster R-CNN을 사용하면 갑상선 결절의 90.5%를 자동으로 감지할 수 있으며 이는 CNN 백본 기반 Faster R-CNN(87.1%)보다 ~3% 더 높습니다. 그림 2에서 볼 수 있듯이 Swin Transformer를 백본으로 사용하면 경계 위치가 더 정확해집니다.
그림 1: Swin Faster R-CNN 네트워크 아키텍처 다이어그램 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 감지 결과. 동일한 이미지에 대한 감지 결과는 지정된 행에 있습니다. 열은 왼쪽에서 오른쪽으로 각각 Swin Faster R-CNN, Faster R-CNN, YOLO-v3, SSD, RetinaNet 및 DETR에 대한 감지 결과입니다. 지역의 실측 자료는 녹색 직사각형 상자로 표시됩니다. 감지 결과는 빨간색 직사각형 상자로 구성됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 메서드 | 척주 | 지도 | 민감 | 특이성 |
| 욜로-v3 | 다크넷 | 0.411 | 0.869 | 0.877 |
| SSD (SSD 파일) | VGG16 시리즈 | 0.425 | 0.841 | 0.849 |
| 레티나넷 | 레스넷50 | 0.382 | 0.845 | 0.841 |
| 더 빠른 R-CNN | 레스넷50 | 0.42 | 0.871 | 0.864 |
| 증권 시세 표시기 | 레스넷50 | 0.416 | 0.882 | 0.86 |
| Swin 더 빠른 R-CNN(FPN 없음) | 스윈 트랜스포머 | 0.431 | 0.897 | 0.905 |
| FPN을 통한 Swin Faster R-CNN | 0.448 | 0.905 | 0.909 |
표 1: 최첨단 물체 감지 방법과의 성능 비교.
보충 파일 1: 사용된 데이터 주석 및 소프트웨어에 대한 작동 지침. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 2: 2.4.1단계에서 설명한 대로 데이터 세트를 학습 집합 및 유효성 검사 집합으로 나누는 데 사용되는 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 3: 2.5.1단계에서 설명한 대로 주석 파일을 마스크로 변환하는 데 사용되는 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 4: 2.5.2단계에서 설명한 대로 데이터를 CoCo 형식의 데이터 세트로 만드는 데 사용되는 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 5: 3.1단계에서 언급한 수정된 Swin Transformer 모델 파일입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
추가 파일 6: 3.2단계에서 언급한 Swin Faster R-CNN 구성 파일입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
이 백서에서는 환경 설정, 데이터 준비, 모델 구성 및 네트워크 학습을 수행하는 방법에 대해 자세히 설명합니다. 환경 설정 단계에서는 종속 라이브러리가 호환되고 일치하는지 확인하기 위해 주의를 기울여야 합니다. 데이터 처리는 매우 중요한 단계입니다. 주석의 정확성을 보장하기 위해 시간과 노력을 들여야 합니다. 모델을 학습할 때 "ModuleNotFoundError"가 발생할 수 있습니다. 이 경우 "pip install" 명령을 사용하여 누락된 라이브러리를 설치해야 합니다. 검증 세트의 손실이 감소하지 않거나 크게 진동하는 경우 주석 파일을 확인하고 학습률과 배치 크기를 조정하여 손실이 수렴되도록 해야 합니다.
갑상선 결절 검출은 갑상선암 치료에 매우 중요합니다. CAD 시스템은 의사가 결절을 감지하는 데 도움을 주고, 주관적인 요인으로 인한 진단 결과의 차이를 방지하고, 결절 발견을 놓치는 것을 줄일 수 있습니다. 기존 CNN 기반 CAD 시스템과 비교하여 이 논문에서 제안하는 네트워크는 초음파 이미지 특징을 추출하기 위해 Swin Transformer를 도입했습니다. 장거리 종속성을 캡처함으로써 Swin Faster R-CNN은 초음파 이미지에서 결절 특징을 보다 효율적으로 추출할 수 있습니다. 실험 결과에 따르면 Swin Faster R-CNN은 CNN 백본 기반 Faster R-CNN에 비해 결절 감지 감도를 ~3% 향상시킵니다. 이 기술을 적용하면 조기 초음파 검사에서 갑상선 결절을 감지하고 의사에게 추가 치료를 안내할 수 있으므로 의사의 부담을 크게 줄일 수 있습니다. 그러나 Swin Transformer의 많은 매개변수로 인해 Swin Faster R-CNN의 추론 시간은 이미지당 ~100ms입니다(NVIDIA TITAN 24G GPU 및 AMD Epyc 7742 CPU에서 테스트됨). Swin Faster R-CNN으로 실시간 진단 요구 사항을 충족하는 것은 어려울 수 있습니다. 앞으로도 이 방법의 효과를 검증하기 위해 사례를 계속 수집하고 동적 초음파 영상 분석에 대한 추가 연구를 수행할 것입니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 이해 상충을 선언하지 않습니다.
Acknowledgments
이 연구는 중국 국립 자연 과학 재단(보조금 번호 32101188)과 중국 쓰촨성 과학 기술부 일반 프로젝트(보조금 번호 2021YFS0102)의 지원을 받았습니다.
Materials
| Name | Company | Catalog Number | Comments |
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
References
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al.
- Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A.
- Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).
