Name: 超音波画像における甲状腺結節検出のためのSwinトランスベースのモデル (動画) | JoVE Journal
Uploaded: 2023-04-21T14:15:00.000+00:00
Duration: 4 min 23 s
Description: 学ぶ Swin Transformerを用いた超音波画像における甲状腺結節検出の自動化手法。PythonとPyTorchでモデルを構築し、医療従事者の負担軽減と診断精度向上に貢献する機械学習アプローチを解説します。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

この研究は、中国国家自然科学基金会(助成金番号32101188)および中国の四川省科学技術局一般プロジェクト(助成金番号2021YFS0102)の支援を受けました。

この後ろ向き研究は、中国四川省四川大学西中国病院の施設内審査委員会によって承認され、インフォームドコンセントを取得する要件は免除されました。
1. 環境設定
<ol><li>グラフィックプロセッシングユニット(GPU)ソフトウェア<ol><li>ディープラーニングアプリケーションを実装するには、まずGPU関連の環境を構成します。GPU の Web サイトから GPU に適したソフトウェアとドライバーをダウンロードしてインストールします。 注:この研究で使用されたものについては、 材料の表 を参照してください。</li>
	</ol></li>
	<li>Python3.8 のインストール<ol><li>マシンのターミナルを開きます。次のように入力します。 コマンドライン: sudo apt-get install python3.8 python-dev python-virtualenv</li>
	</ol></li>
	<li>Pytorch1.7 のインストール<ol><li>公式ウェブサイトの手順に従って、Minicondaをダウンロードしてインストールします。</li>
		<li>conda 環境を作成してアクティブ化します。 コマンドライン: conda create --name SwinFasterRCNN python=3.8 -y コマンドライン: conda activate SwinFasterRCNN</li>
		<li>Pytorch をインストールします。 コマンドライン: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 </li>
	</ol></li>
	<li>MMDetection のインストール<ol><li>公式のGithubリポジトリからクローンを作成します。 コマンドライン: git クローン https://github.com/open-mmlab/mmdetection.git</li>
		<li>MMDetection をインストールします。 コマンド ライン: cd mm検出 コマンドライン: pip install -v -e .</li>
	</ol></li>
</ol>2. データの準備
<ol><li>データ収集<ol><li>超音波画像を収集しました(ここでは、グレードAの三次病院からの3,000例)。各ケースに診断記録、治療計画、米国のレポート、および対応する米国の画像があることを確認します。</li>
		<li>すべての米国の画像を「images」という名前のフォルダーに配置します。 注:この研究で使用されたデータには、3,000例からの3,853の米国の画像が含まれていました。</li>
	</ol></li>
	<li>データクリーニング<ol><li>リンパ画像などの非甲状腺領域の画像について、データセットを手動で確認します。</li>
		<li>カラードップラーフローを含む画像のデータセットを手動で確認します。</li>
		<li>前の 2 つの手順で選択したイメージを削除します。 注:データクリーニング後、2,680ケースから3,000枚の画像が残されました。</li>
	</ol></li>
	<li>データ注釈<ol><li>上級医師に米国の画像で結節領域を見つけてもらい、結節境界の輪郭を描きます。 注: 注釈ソフトウェアとプロセスは、 補足ファイル 1 にあります。</li>
		<li>別の上級医師に注釈の結果を確認して修正してもらいます。</li>
		<li>注釈付きデータを「注釈」という別のフォルダに配置します。</li>
	</ol></li>
	<li>データ分割<ol><li>pythonスクリプトを実行し、手順2.1.2で画像のパスを設定し、手順2.3.3で注釈のパスを設定します。すべての画像と対応するラベル付きファイルを、8:2の比率でトレーニングセットと検証セットにランダムに分割します。トレーニングセットデータを「Train」フォルダに、検証セットデータを「Val」フォルダに保存します。 注: Python スクリプトは 補足ファイル 2 で提供されています。</li>
	</ol></li>
	<li>CoCo データセット形式への変換 注: MMDetection を使用するには、注釈情報を保持する json ファイルと米国の画像を含む画像フォルダーを含む CoCo データセット形式にデータを処理します。<ol><li>Pythonスクリプトを実行し、注釈フォルダーパスを入力して(ステップ2.3.3)、医師によって輪郭を描かれた結節領域を抽出し、それらをマスクに変換します。すべてのマスクを「マスク」フォルダに保存します。 注: Python スクリプトは 、補足ファイル 3 で提供されています。</li>
		<li>Python スクリプトを実行し、手順 2.5.1 で masks フォルダーのパスを設定して、データを CoCo 形式のデータセットにし、米国の画像を含む json ファイルを生成します。 注: Python スクリプトは 補足ファイル 4 で提供されています。</li>
	</ol></li>
</ol>3.より高速なRCNN構成をスウィンします
<ol><li>Swin Transformer モデル ファイル (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) をダウンロードして変更し、"mmdetection/mmdet/models/backbones/" フォルダに配置します。vimテキストエディタで「swin_transformer.py」ファイルを開き、補足ファイル5で提供されているSwin Transformerモデルファイルとして変更します。 コマンドライン: vim swin_transformer.py</li>
	<li>より高速な R-CNN 構成ファイルのコピーを作成し、バックボーンを Swin トランスフォーマーに変更して、FPN パラメーターを設定します。 コマンドライン: cd mm検出/設定/faster_rcnn コマンドライン: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py 注: Swin Faster R-CNN 構成ファイル (swin_faster_rcnn_swin.py) は、 補足ファイル 6 に記載されています。Swin Faster R-CNN ネットワーク構造を 図 1 に示します。</li>
	<li>構成ファイルでデータセット パスを CoCo 形式のデータセット パスに設定します (手順 2.5.2)。vimテキストエディタで「coco_detection.py」ファイルを開き、次の行を変更します。 data_root = "データセットパス(ステップ2.5.2)" コマンドライン:vim mm検出/構成/_ベース_/データセット/coco_detection.py</li>
</ol>4.スウィンをより速くトレーニングするR-CNN
<ol><li>mmdetection/configs/_base_/schedules/schedule_1x.pyを編集し、学習率、オプティマイザ、エポックなどのデフォルトのトレーニング関連パラメータを設定します。vimテキストエディタで「schedule_1x.py」ファイルを開き、次の行を変更します。 オプティマイザ = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001) runner = dict(type='EpochBasedRunner', max_epochs=48) コマンドライン:vim mm検出/設定/_ベース_/スケジュール/schedule_1x.py 注:このホワイトペーパーのこのプロトコルでは、学習率を0.001に設定し、AdamWオプティマイザを使用し、最大トレーニングエポックを48に設定し、バッチサイズを16に設定しました。</li>
	<li>次のコマンドを入力してトレーニングを開始します。ネットワークが 48 エポックのトレーニングを開始し、結果として得られる Swin Faster R-CNN ネットワークのトレーニング済み重みが出力フォルダーに生成されるのを待ちます。検証セットに最も高い精度でモデルの重みを保存します。 コマンド ライン: cd mm検出 コマンドライン: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs 注: このモデルは、"NVIDIA GeForce RTX3090 24G" GPU でトレーニングされています。使用された中央処理装置は「AMD Epyc 7742 64コアプロセッサ×128」であり、オペレーティングシステムはUbuntu 18.06でした。全体のトレーニング時間は~2時間でした。</li>
</ol>5.新しい画像で甲状腺結節の検出を実行する
<ol><li>トレーニング後、新しい画像で甲状腺結節を検出するための検証セットで最高のパフォーマンスを持つモデルを選択します。<ol><li>まず、画像のサイズを 512 ピクセル x 512 ピクセルに変更し、正規化します。これらの操作は、テスト スクリプトの実行時に自動的に実行されます。 コマンドライン: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output</li>
		<li>スクリプトが事前トレーニング済みモデル パラメーターを Swin Faster R-CNN に自動的に読み込むのを待ち、推論のために前処理された画像を Swin Faster R-CNN にフィードします。Swin Faster R-CNN が各画像の予測ボックスを出力するのを待ちます。</li>
		<li>最後に、スクリプトが各画像に対して NMS 後処理を自動的に実行して、重複データ検出ボックスを削除できるようにします。 注: 検出結果は、パックされたファイル内の検出ボックスと境界ボックスの座標を含む画像を含む指定されたフォルダーに出力されます。</li>
	</ol></li>
</ol>

<ol><li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+ultrasound+reporting+lexicon%3A+White+paper+of+the+ACR+Thyroid+Imaging%2C+Reporting+and+Data+System+%28TIRADS%29+committee%5BTitle%5D)+AND+%22Journal+of+the+American+College+of+Radiology%22%5BJournal%5D)">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li>
<li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology%5BTitle%5D)+AND+%22Health+Information+Science+and+Systems%22%5BJournal%5D)">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5(2013).</li>
<li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer%3A+What+is+new+and+what+has+changed%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li>
<li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules%3A+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li>
<li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management%5BTitle%5D)+AND+%22The+Journal+of+Clinical+Endocrinology+%26+Metabolism%22%5BJournal%5D)">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).</li>
<li>Park, J. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li>
<li>Moon, W. -J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Benign+and+malignant+thyroid+nodules%3A+US+differentiation-Multicenter+retrospective+study%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li>
<li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules%5BTitle%5D)+AND+%22Journal+of+Clinical+Ultrasound%22%5BJournal%5D)">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li>
<li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observer+variability+and+the+performance+between+faculties+and+residents%3A+US+criteria+for+benign+and+malignant+thyroid+nodules%5BTitle%5D)+AND+%22Korean+Journal+of+Radiology%22%5BJournal%5D)">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li>
<li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound%3A+initial+clinical+assessment%5BTitle%5D)+AND+%22Thyroid%22%5BJournal%5D)">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li>
<li>Chang, T. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography%5BTitle%5D)+AND+%22Journal+of+Medical+Ultrasound%22%5BJournal%5D)">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li>
<li>Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).</li>
<li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484(2022).</li>
<li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images%5BTitle%5D)+AND+%22Medical+Physics%22%5BJournal%5D)">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li>
<li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li>
<li>Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).</li>
<li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718(2022).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagenet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li>
<li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relation+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale%5BTitle%5D)+AND+%22arXiv+preprint+arXiv%3A2010.11929%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li>
<li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+data-efficient+image+transformers+%26+distillation+through+attention%5BTitle%5D)+AND+%22arXiv%3A2012.12877%22%5BJournal%5D)">Training data-efficient image transformers & distillation through attention.</a> arXiv:2012.12877. , (2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+Transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%222021+IEEE%2FCVF+International+Conference+on+Computer+Vision+%28ICCV%29%22%5BJournal%5D)">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNet%3A+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%3A2102.04306%22%5BJournal%5D)">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li>
<li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Faster+r-cnn%3A+Towards+real-time+object+detection+with+region+proposal+networks%5BTitle%5D)+AND+%22Advances+in+Neural+Information+Processing+Systems%22%5BJournal%5D)">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li>
<li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600(2018).</li>
<li>Lin, T. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature+pyramid+networks+for+object+detection%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition%22%5BJournal%5D)">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li>
<li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+wavelet+denoising+in+medical+imaging%5BTitle%5D)+AND+%222013+8th+International+Workshop+on+Systems%2C+Signal+Processing+and+their+Applications%22%5BJournal%5D)">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li>
<li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199(2022).</li>
<li>Castleman, K. R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCastleman%2C+KR+%22Digital+Image+Processing%22">Digital Image Processing</a>. , Prentice Hall Press. Hoboken, NJ. (1996).</li>
<li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ssd%3A+Single+shot+multibox+detector%5BTitle%5D)+AND+%22European+Conference+on+Computer+Vision%22%5BJournal%5D)">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Yolov3%3A+An+incremental+improvement%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1804.02767%22%5BJournal%5D)">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li>
<li>Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focalloss+for+dense+object+detection%5BTitle%5D)+AND+%22arXiv.+arXiv%3A1708.02002%22%5BJournal%5D)">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li>
<li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-end+object+detection+with+transformers%5BTitle%5D)+AND+%22Computer+Vision-ECCV+2020%3A+16th+European+Conference%22%5BJournal%5D)">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).</li>
</ol>

著者は利益相反を宣言しません。

このホワイトペーパーでは、環境のセットアップ、データ準備、モデル構成、およびネットワークトレーニングの実行方法について詳しく説明します。環境のセットアップ段階では、依存ライブラリに互換性があり、一致していることを確認するように注意する必要があります。データ処理は非常に重要なステップです。注釈の正確性を確保するために時間と労力を費やす必要があります。モデルをトレーニングするときに、"モジュールNotFoundError" が発生することがあります。この場合、「pip install」コマンドを使用して、不足しているライブラリをインストールする必要があります。検証セットの損失が減少しない、または大きく変動しない場合は、アノテーションファイルを確認し、損失が収束するように学習率とバッチサイズを調整する必要があります。
甲状腺結節の検出は、甲状腺癌の治療にとって非常に重要です。CADシステムは、医師が結節を検出するのを支援し、主観的要因によって引き起こされる診断結果の違いを回避し、結節の検出漏れを減らすことができます。既存のCNNベースのCADシステムと比較して、この論文で提案するネットワ...

甲状腺がんの発生率は、特に中年女性の間で、1970年以降急速に増加しています1。甲状腺結節は甲状腺がんの出現を予測する可能性があり、ほとんどの甲状腺結節は無症候性です2。甲状腺結節の早期発見は、甲状腺がんの治療に非常に役立ちます。したがって、現在の診療ガイドラインによれば、身体検査で結節性甲状腺腫が疑われる、または異常な画像所見のあるすべての患者は、さらなる検査を受ける必要があります3,4。
甲状腺超音波(US)は、甲状腺病変を検出および特徴付けるために使用される一般的な方法です5,6。米国は便利で、安価で、放射線のない技術です。しかしながら、USのアプリケーションは、オペレータ7,8によって容易に影響を受ける。甲状腺結節の形状、サイズ、エコー源性、質感などの特徴は、米国の画像で簡単に区別できます。石灰化、エコー源性、不規則な境界などの特定の米国の特徴は、甲状腺結節を特定するための基準と見なされることがよくありますが、観察者間の変動性の存在は避けられません8,9。異なるレベルの経験を持つ放射線科医の診断結果は異なります。経験の浅い放射線科医は、経験豊富な放射線科医よりも誤診する可能性が高くなります。反射、影、エコーなどの米国の一部の特性は、画質を低下させる可能性があります。米国の画像の性質によって引き起こされるこの画質の低下は、経験豊富な医師でさえ結節を正確に見つけることを困難にします。
甲状腺結節のコンピューター支援診断(CAD)は近年急速に発展しており、さまざまな医師によって引き起こされるエラーを効果的に減らし、放射線科医が結節を迅速かつ正確に診断するのに役立ちます10,11。米国甲状腺結節分析のために、セグメンテーション12,13、検出14,15、分類16,17など、さまざまなCNNベースのCADシステムが提案されています。CNNは多層の教師あり学習モデル18であり、CNNのコアモジュールは畳み込み層とプーリング層です。畳み込み層は特徴抽出に使用され、プーリング層はダウンサンプリングに使用されます。シャドウ畳み込みレイヤーはテクスチャ、エッジ、輪郭などの主要な特徴を抽出でき、深い畳み込みレイヤーは高レベルのセマンティック特徴を学習します。
CNNは、コンピュータービジョン19、20、21で大きな成功を収めています。ただし、CNNは、畳み込み層の有効な受容フィールドが限られているため、長距離のコンテキスト依存性をキャプチャできません。これまで、画像分類のバックボーン アーキテクチャでは、主に CNN が使用されていました。ビジョントランスフォーマー(ViT)22,23の出現により、この傾向は変化し、現在では多くの最先端モデルがトランスフォーマーをバックボーンとして使用しています。重なり合わない画像パッチに基づいて、ViTは、標準のトランスエンコーダ25を使用して、空間的関係をグローバルにモデル化する。Swin Transformer24は、機能を学習するためのシフトウィンドウをさらに導入しています。シフトウィンドウは、効率を高めるだけでなく、セルフアテンションがウィンドウで計算されるため、シーケンスの長さを大幅に短縮します。同時に、2つの隣接するウィンドウ間の相互作用は、シフト(移動)の操作によって行うことができます。コンピュータビジョンにおけるSwin Transformerの応用の成功は、超音波画像解析のためのトランスベースのアーキテクチャの調査につながった26。
最近、Liらは、Faster R-CNN27 に触発された甲状腺乳頭がん検出のための深層学習アプローチ28を提案した。より高速なR-CNNは、古典的なCNNベースのオブジェクト検出アーキテクチャです。オリジナルのFaster R-CNNには、CNNバックボーン、地域提案ネットワーク(RPN)、ROIプーリングレイヤー、検出ヘッドの4つのモジュールがあります。CNN バックボーンは、一連の基本的な conv+bn+relu+プーリング レイヤーを使用して、入力画像から特徴マップを抽出します。次に、機能マップがRPNとROIプーリングレイヤーに供給されます。RPNネットワークの役割は、地域提案を生成することです。このモジュールでは、softmax を使用してアンカーが正であるかどうかを判断し、バウンディング ボックス回帰によって正確なアンカーを生成します。ROIプーリングレイヤーは、入力特徴マップと提案を収集して提案特徴マップを抽出し、提案特徴マップを後続の検出ヘッドにフィードします。検出ヘッドは、提案機能マップを使用してオブジェクトを分類し、バウンディングボックス回帰によって検出ボックスの正確な位置を取得します。
本稿では、Faster R-CNNのCNNバックボーンをSwin Transformerに置き換えることで形成された新しい甲状腺結節検出ネットワークであるSwin Faster R-CNNを紹介し、超音波画像から結節検出のための特徴をより適切に抽出します。さらに、特徴ピラミッドネットワーク(FPN)29 は、異なるスケールの特徴を集約することにより、異なるサイズの結節に対するモデルの検出性能を向上させるために使用される。

<table><tbody><tr><td>GPU RTX3090</td><td>Nvidia</td><td>1</td><td>24G GPU</td></tr><tr><td>mmdetection2.11.0</td><td>SenseTime</td><td>4</td><td>https://github.com/open-mmlab/mmdetection.git</td></tr><tr><td>python3.8</td><td>&mdash;</td><td>2</td><td></td></tr><tr><td>https://www.python.org pytorch1.7.1</td><td>Facebook</td><td>3</td><td>https://pytorch.org</td></tr></tbody></table>

超音波画像における甲状腺結節検出のためのswinトランスベースのモデル

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

近年、甲状腺がんの発生率は増加しています。甲状腺結節の検出は、甲状腺がんの検出と治療の両方にとって重要です。畳み込みニューラルネットワーク(CNN)は、甲状腺超音波画像分析タスクで良好な結果を達成しています。しかし、畳み込み層の有効な受容野が限られているため、CNNは、超音波画像で甲状腺結節を特定するために重要な長距離の文脈依存性を捉えることができません。トランスフォーマーネットワークは、長距離コンテキスト情報をキャプチャするのに効果的です。これに触発されて、Swin TransformerバックボーンとFaster R-CNNを組み合わせた新しい甲状腺結節検出法を提案します。具体的には、超音波画像は最初に埋め込みの1Dシーケンスに投影され、次に階層的なSwinトランスフォーマーに供給されます。 
Swin Transformerバックボーンは、自己注意の計算にシフトされたウィンドウを利用することにより、5つの異なるスケールで特徴を抽出します。その後、フィーチャ ピラミッド ネットワーク (FPN) を使用して、異なる縮尺のフィーチャを融合します。最後に、検出ヘッドを使用して、境界ボックスと対応する信頼度スコアを予測します。2,680人の患者から収集されたデータを使用して実験を実施し、結果は、この方法が44.8%の最高のmAPスコアを達成し、CNNベースのベースラインを上回ったことを示しました。また、競合他社よりも感度が高く(90.5%)向上しました。これは、このモデルのコンテキストモデリングが甲状腺結節の検出に有効であることを示しています。

甲状腺の米国画像は、2008年9月から2018年2月にかけて中国の2つの病院から収集されました。この研究に米国の画像を含めるための適格基準は、生検および外科的治療前の従来の米国の検査、生検または術後の病理を伴う診断、および18歳≥でした。除外基準は甲状腺組織を含まない画像とした。
3,000の超音波画像には、1,384の悪性結節と1,616の良性結節が含まれていました。悪性結節の大部分(90%)は乳頭癌であり、良性結節の66%は結節性甲状腺腫でした。ここでは、結節の25%が5mmより小さく、38%が5mmから10mmの間であり、37%が10mmより大きい。
すべての米国の画像はフィリップスIU22およびDC-80を使用して収集され、デフォルトの甲状腺検査モードが使用されました。どちらの機器にも5〜13MHzのリニアプローブが装備されていました。甲状腺下部縁の良好な露出のために、すべての患者は背中を伸ばした状態で仰臥位で検査されました。甲状腺葉と峡部の両方が、米国放射線学会の認定基準に従って縦面と横面でスキャンされました。すべて...

ここでは、超音波画像における甲状腺結節検出のための新しいモデルが提案されており、Swin Transformerをバックボーンとして使用して長距離コンテキストモデリングを実行します。実験は、それが感度と精度の点でうまく機能することを証明しています。

超音波画像における甲状腺結節検出のためのSwinトランスベースのモデル

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

このプログラムは、甲状腺結節を検出するための自動的かつ効率的な手段を実装しており、将来的に医師の作業負荷を軽減する可能性があります。この手法は、Swin トランスを結節検出ネットワークに適用します。Swin Transformersは、長距離コンテンツ情報のキャプチャに効果的であり、結節留の感度を向上させるのに非常に役立ちます。まず、マシンでターミナルを開き、コマンドラインにsudo apt-get install python3.8と入力してPython 3.8をインストールします。PyTorch 1.7をインストールするには、Minicondaの公式Webサイトにアクセスしてインストールします。次に、画面に表示されるコマンドをコマンドラインに入力してコンマ環境を作成し、「コンダアクティベートSwinFasterRCNN」と入力してアクティブ化します。PyTorch をインストールするには、コマンド ラインに示されているコマンドを記述します。MM 検出のインストールの場合は、公式の GitHub リポジトリから複製し、コマンド ラインにコマンド pip install v e を記述して MM 検出をインストールします。schedule_1xを開きます。Py ファイルを Vim テキストエディタで実行し、ファイルを編集して、オプティマイザー、学習率、エピックなどのデフォルトのトレーニング関連パラメータを設定します。画面に表示されるコマンドを入力してトレーニングを開始します。ネットワークが 48 エピックのトレーニングを開始し、SwinFasterRCNN ネットワークのトレーニング済みの重みが出力フォルダーに生成されるのを待ちます。検証セットに最も高い精度でモデルの重みを保存します。トレーニング後、新しい画像で甲状腺結節を検出するための検証セットで最高のパフォーマンスを持つモデルを選択します。テスト スクリプトを実行して、画像のサイズを 512 x 512 ピクセルに変更し、正規化します。スクリプトが事前トレーニング済みのモデル パラメーターを SwinFasterRCNN に自動的に読み込むのを待ち、推論のために前処理された画像を SwinFasterRCNN にフィードします。SwinFasterRCNN が各画像の予測ボックスを出力するのを待ちます。最後に、スクリプトが各画像に対して NMS 後処理を自動的に実行して、重複データ検出ボックスを削除できるようにします。同じ画像の検出結果が特定の行に表示されます。列は、SwinFasterRCNN、FasterRCNN、YOLOv3、SSD、RetinaNet、および DETR の検出結果です。地域のグラウンドトゥルースは、緑色の長方形のボックスでマークされています。検出結果は、赤い長方形のボックスで囲ま

a-swin-transformer-based-model-for-thyroid-nodule-detection

Research

JoVE Journal

Medicine

医学

この研究の目的は、医師と患者の間のコミュニケーションブリッジとして機能し、診断前と予後評価のための最先端のツールでもある肺結節の新しい3Dデジタルモデルを開発することです。...

肺結節の診断と治療のための3Dデジタルモデル

ここでは、多面3次元再構成とカラードップラー融合を組み合わせた5次元超音波技術により、甲状腺の構造情報と機能情報を同期的に可視化することができます。死角を最小限に抑えることで、この方法は病変の迅速かつ正確な局在化を可能にし、診断精度を向上させ、特に初心者の開業医に利益をもたらします。...

甲状腺病変の正確かつ迅速な局在化のためのカラードップラーマッピングと統合された同期三面再構成

前臨床癌治療を監視するためのチェレンコフ発光イメージング（CLI）の使用は、ここで説明されます。この方法は、チェレンコフ放射（CR）および放射性標識プローブを可視化する光学イメージング（OI）を利用していますので、前臨床治療モニタリングおよび薬物スクリーニングにおけるPETの代替手段を提供します。...

がん治療のモニタリングのためのチェレンコフ発光イメージング（CLI）

甲状腺未分化癌の同所性マウスモデルの生成は、ここで記載されている。この技術は、このように、疾患の進行、並びにスクリーン革新的な治療的介入を研究するための、より臨床的に関連する設定を作成し、免疫不全マウスの甲状腺にヒト甲状腺未分化癌細胞の外科的な配置を採用している。...

甲状腺未分化癌の同所性マウスモデル

胸骨甲状腺の病変は一般的であり、悪性腫瘍と区別される必要がある。経皮細針生検を得ること、その胸骨の位置には不可能である。この記事では、気管支超音波ガイド下経気管支穿刺吸引（EBUS-TBNA）を使用して、胸骨下甲状腺病変の生検のためのプロトコルを提案している。...

気管支超音波ガイド下経気管支穿刺吸引を使用して、胸骨下甲状腺生検

本研究は、ブタモデルにおける甲状腺手術の術中神経モニタリングの標準的なプロトコルの開発を目指します。ここでは、電極の種類を比較して通常と負傷者の反回神経の電気生理学的特性を調査するため、全身麻酔を実証するプロトコルを提案します。...

ブタモデルにおける甲状腺手術の術中神経モニタリング

ワイヤー図法を使用してマウスの腸間膜動脈の等尺性収縮力測定

ここでは、電磁的にナビゲートされた経胸部針アクセス を介...

低侵襲胸部手術のための電磁航法経胸結節局在

ここでは、ポリアクリル酸/ナノシリカの気管内投与によるラットの胸水貯留モデルを構築するためのプロトコルを提案する.

ポリアクリル酸/ナノシリカの気管内投与によるラットの胸水貯留モデル

本研究では、筋力筋長測定を目的とした拡張視野超音波(EFOV-US)法を用いて、高品質の筋骨格画像を得る方法を説明する。我々は、一般的な伝統的な超音波(T-US)プローブの視野を超えて伸びる筋を有する筋肉にこの方法を適用する。...

筋肉の筋の長さを測定するために骨格筋の品質拡張視野超音波画像を取得する

学ぶ Swin Transformerを用いた超音波画像における甲状腺結節検出の自動化手法。PythonとPyTorchでモデルを構築し、医療従事者の負担軽減と診断精度向上に貢献する機械学習アプローチを解説します。

超音波画像における甲状腺結節検出のためのSwinトランスベースのモデル

さらに動画を探す