Summary
ここでは、超音波画像における甲状腺結節検出のための新しいモデルが提案されており、Swin Transformerをバックボーンとして使用して長距離コンテキストモデリングを実行します。実験は、それが感度と精度の点でうまく機能することを証明しています。
Abstract
近年、甲状腺がんの発生率は増加しています。甲状腺結節の検出は、甲状腺がんの検出と治療の両方にとって重要です。畳み込みニューラルネットワーク(CNN)は、甲状腺超音波画像分析タスクで良好な結果を達成しています。しかし、畳み込み層の有効な受容野が限られているため、CNNは、超音波画像で甲状腺結節を特定するために重要な長距離の文脈依存性を捉えることができません。トランスフォーマーネットワークは、長距離コンテキスト情報をキャプチャするのに効果的です。これに触発されて、Swin TransformerバックボーンとFaster R-CNNを組み合わせた新しい甲状腺結節検出法を提案します。具体的には、超音波画像は最初に埋め込みの1Dシーケンスに投影され、次に階層的なSwinトランスフォーマーに供給されます。
Swin Transformerバックボーンは、自己注意の計算にシフトされたウィンドウを利用することにより、5つの異なるスケールで特徴を抽出します。その後、フィーチャ ピラミッド ネットワーク (FPN) を使用して、異なる縮尺のフィーチャを融合します。最後に、検出ヘッドを使用して、境界ボックスと対応する信頼度スコアを予測します。2,680人の患者から収集されたデータを使用して実験を実施し、結果は、この方法が44.8%の最高のmAPスコアを達成し、CNNベースのベースラインを上回ったことを示しました。また、競合他社よりも感度が高く(90.5%)向上しました。これは、このモデルのコンテキストモデリングが甲状腺結節の検出に有効であることを示しています。
Introduction
甲状腺がんの発生率は、特に中年女性の間で、1970年以降急速に増加しています1。甲状腺結節は甲状腺がんの出現を予測する可能性があり、ほとんどの甲状腺結節は無症候性です2。甲状腺結節の早期発見は、甲状腺がんの治療に非常に役立ちます。したがって、現在の診療ガイドラインによれば、身体検査で結節性甲状腺腫が疑われる、または異常な画像所見のあるすべての患者は、さらなる検査を受ける必要があります3,4。
甲状腺超音波(US)は、甲状腺病変を検出および特徴付けるために使用される一般的な方法です5,6。米国は便利で、安価で、放射線のない技術です。しかしながら、USのアプリケーションは、オペレータ7,8によって容易に影響を受ける。甲状腺結節の形状、サイズ、エコー源性、質感などの特徴は、米国の画像で簡単に区別できます。石灰化、エコー源性、不規則な境界などの特定の米国の特徴は、甲状腺結節を特定するための基準と見なされることがよくありますが、観察者間の変動性の存在は避けられません8,9。異なるレベルの経験を持つ放射線科医の診断結果は異なります。経験の浅い放射線科医は、経験豊富な放射線科医よりも誤診する可能性が高くなります。反射、影、エコーなどの米国の一部の特性は、画質を低下させる可能性があります。米国の画像の性質によって引き起こされるこの画質の低下は、経験豊富な医師でさえ結節を正確に見つけることを困難にします。
甲状腺結節のコンピューター支援診断(CAD)は近年急速に発展しており、さまざまな医師によって引き起こされるエラーを効果的に減らし、放射線科医が結節を迅速かつ正確に診断するのに役立ちます10,11。米国甲状腺結節分析のために、セグメンテーション12,13、検出14,15、分類16,17など、さまざまなCNNベースのCADシステムが提案されています。CNNは多層の教師あり学習モデル18であり、CNNのコアモジュールは畳み込み層とプーリング層です。畳み込み層は特徴抽出に使用され、プーリング層はダウンサンプリングに使用されます。シャドウ畳み込みレイヤーはテクスチャ、エッジ、輪郭などの主要な特徴を抽出でき、深い畳み込みレイヤーは高レベルのセマンティック特徴を学習します。
CNNは、コンピュータービジョン19、20、21で大きな成功を収めています。ただし、CNNは、畳み込み層の有効な受容フィールドが限られているため、長距離のコンテキスト依存性をキャプチャできません。これまで、画像分類のバックボーン アーキテクチャでは、主に CNN が使用されていました。ビジョントランスフォーマー(ViT)22,23の出現により、この傾向は変化し、現在では多くの最先端モデルがトランスフォーマーをバックボーンとして使用しています。重なり合わない画像パッチに基づいて、ViTは、標準のトランスエンコーダ25を使用して、空間的関係をグローバルにモデル化する。Swin Transformer24は、機能を学習するためのシフトウィンドウをさらに導入しています。シフトウィンドウは、効率を高めるだけでなく、セルフアテンションがウィンドウで計算されるため、シーケンスの長さを大幅に短縮します。同時に、2つの隣接するウィンドウ間の相互作用は、シフト(移動)の操作によって行うことができます。コンピュータビジョンにおけるSwin Transformerの応用の成功は、超音波画像解析のためのトランスベースのアーキテクチャの調査につながった26。
最近、Liらは、Faster R-CNN27 に触発された甲状腺乳頭がん検出のための深層学習アプローチ28を提案した。より高速なR-CNNは、古典的なCNNベースのオブジェクト検出アーキテクチャです。オリジナルのFaster R-CNNには、CNNバックボーン、地域提案ネットワーク(RPN)、ROIプーリングレイヤー、検出ヘッドの4つのモジュールがあります。CNN バックボーンは、一連の基本的な conv+bn+relu+プーリング レイヤーを使用して、入力画像から特徴マップを抽出します。次に、機能マップがRPNとROIプーリングレイヤーに供給されます。RPNネットワークの役割は、地域提案を生成することです。このモジュールでは、softmax を使用してアンカーが正であるかどうかを判断し、バウンディング ボックス回帰によって正確なアンカーを生成します。ROIプーリングレイヤーは、入力特徴マップと提案を収集して提案特徴マップを抽出し、提案特徴マップを後続の検出ヘッドにフィードします。検出ヘッドは、提案機能マップを使用してオブジェクトを分類し、バウンディングボックス回帰によって検出ボックスの正確な位置を取得します。
本稿では、Faster R-CNNのCNNバックボーンをSwin Transformerに置き換えることで形成された新しい甲状腺結節検出ネットワークであるSwin Faster R-CNNを紹介し、超音波画像から結節検出のための特徴をより適切に抽出します。さらに、特徴ピラミッドネットワーク(FPN)29 は、異なるスケールの特徴を集約することにより、異なるサイズの結節に対するモデルの検出性能を向上させるために使用される。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
この後ろ向き研究は、中国四川省四川大学西中国病院の施設内審査委員会によって承認され、インフォームドコンセントを取得する要件は免除されました。
1. 環境設定
- グラフィックプロセッシングユニット(GPU)ソフトウェア
- ディープラーニングアプリケーションを実装するには、まずGPU関連の環境を構成します。GPU の Web サイトから GPU に適したソフトウェアとドライバーをダウンロードしてインストールします。
注:この研究で使用されたものについては、 材料の表 を参照してください。
- ディープラーニングアプリケーションを実装するには、まずGPU関連の環境を構成します。GPU の Web サイトから GPU に適したソフトウェアとドライバーをダウンロードしてインストールします。
- Python3.8 のインストール
- マシンのターミナルを開きます。次のように入力します。
コマンドライン: sudo apt-get install python3.8 python-dev python-virtualenv
- マシンのターミナルを開きます。次のように入力します。
- Pytorch1.7 のインストール
- 公式ウェブサイトの手順に従って、Minicondaをダウンロードしてインストールします。
- conda 環境を作成してアクティブ化します。
コマンドライン: conda create --name SwinFasterRCNN python=3.8 -y
コマンドライン: conda activate SwinFasterRCNN - Pytorch をインストールします。
コマンドライン: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
- MMDetection のインストール
- 公式のGithubリポジトリからクローンを作成します。
コマンドライン: git クローン https://github.com/open-mmlab/mmdetection.git - MMDetection をインストールします。
コマンド ライン: cd mm検出
コマンドライン: pip install -v -e .
- 公式のGithubリポジトリからクローンを作成します。
2. データの準備
- データ収集
- 超音波画像を収集しました(ここでは、グレードAの三次病院からの3,000例)。各ケースに診断記録、治療計画、米国のレポート、および対応する米国の画像があることを確認します。
- すべての米国の画像を「images」という名前のフォルダーに配置します。
注:この研究で使用されたデータには、3,000例からの3,853の米国の画像が含まれていました。
- データクリーニング
- リンパ画像などの非甲状腺領域の画像について、データセットを手動で確認します。
- カラードップラーフローを含む画像のデータセットを手動で確認します。
- 前の 2 つの手順で選択したイメージを削除します。
注:データクリーニング後、2,680ケースから3,000枚の画像が残されました。
- データ注釈
- 上級医師に米国の画像で結節領域を見つけてもらい、結節境界の輪郭を描きます。
注: 注釈ソフトウェアとプロセスは、 補足ファイル 1 にあります。 - 別の上級医師に注釈の結果を確認して修正してもらいます。
- 注釈付きデータを「注釈」という別のフォルダに配置します。
- 上級医師に米国の画像で結節領域を見つけてもらい、結節境界の輪郭を描きます。
- データ分割
- pythonスクリプトを実行し、手順2.1.2で画像のパスを設定し、手順2.3.3で注釈のパスを設定します。すべての画像と対応するラベル付きファイルを、8:2の比率でトレーニングセットと検証セットにランダムに分割します。トレーニングセットデータを「Train」フォルダに、検証セットデータを「Val」フォルダに保存します。
注: Python スクリプトは 補足ファイル 2 で提供されています。
- pythonスクリプトを実行し、手順2.1.2で画像のパスを設定し、手順2.3.3で注釈のパスを設定します。すべての画像と対応するラベル付きファイルを、8:2の比率でトレーニングセットと検証セットにランダムに分割します。トレーニングセットデータを「Train」フォルダに、検証セットデータを「Val」フォルダに保存します。
- CoCo データセット形式への変換
注: MMDetection を使用するには、注釈情報を保持する json ファイルと米国の画像を含む画像フォルダーを含む CoCo データセット形式にデータを処理します。- Pythonスクリプトを実行し、注釈フォルダーパスを入力して(ステップ2.3.3)、医師によって輪郭を描かれた結節領域を抽出し、それらをマスクに変換します。すべてのマスクを「マスク」フォルダに保存します。
注: Python スクリプトは 、補足ファイル 3 で提供されています。 - Python スクリプトを実行し、手順 2.5.1 で masks フォルダーのパスを設定して、データを CoCo 形式のデータセットにし、米国の画像を含む json ファイルを生成します。
注: Python スクリプトは 補足ファイル 4 で提供されています。
- Pythonスクリプトを実行し、注釈フォルダーパスを入力して(ステップ2.3.3)、医師によって輪郭を描かれた結節領域を抽出し、それらをマスクに変換します。すべてのマスクを「マスク」フォルダに保存します。
3.より高速なRCNN構成をスウィンします
- Swin Transformer モデル ファイル (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) をダウンロードして変更し、"mmdetection/mmdet/models/backbones/" フォルダに配置します。vimテキストエディタで「swin_transformer.py」ファイルを開き、補足ファイル5で提供されているSwin Transformerモデルファイルとして変更します。
コマンドライン: vim swin_transformer.py - より高速な R-CNN 構成ファイルのコピーを作成し、バックボーンを Swin トランスフォーマーに変更して、FPN パラメーターを設定します。
コマンドライン: cd mm検出/設定/faster_rcnn
コマンドライン: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
注: Swin Faster R-CNN 構成ファイル (swin_faster_rcnn_swin.py) は、 補足ファイル 6 に記載されています。Swin Faster R-CNN ネットワーク構造を 図 1 に示します。 - 構成ファイルでデータセット パスを CoCo 形式のデータセット パスに設定します (手順 2.5.2)。vimテキストエディタで「coco_detection.py」ファイルを開き、次の行を変更します。
data_root = "データセットパス(ステップ2.5.2)"
コマンドライン:vim mm検出/構成/_ベース_/データセット/coco_detection.py
4.スウィンをより速くトレーニングするR-CNN
- mmdetection/configs/_base_/schedules/schedule_1x.pyを編集し、学習率、オプティマイザ、エポックなどのデフォルトのトレーニング関連パラメータを設定します。vimテキストエディタで「schedule_1x.py」ファイルを開き、次の行を変更します。
オプティマイザ = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
runner = dict(type='EpochBasedRunner', max_epochs=48)
コマンドライン:vim mm検出/設定/_ベース_/スケジュール/schedule_1x.py
注:このホワイトペーパーのこのプロトコルでは、学習率を0.001に設定し、AdamWオプティマイザを使用し、最大トレーニングエポックを48に設定し、バッチサイズを16に設定しました。 - 次のコマンドを入力してトレーニングを開始します。ネットワークが 48 エポックのトレーニングを開始し、結果として得られる Swin Faster R-CNN ネットワークのトレーニング済み重みが出力フォルダーに生成されるのを待ちます。検証セットに最も高い精度でモデルの重みを保存します。
コマンド ライン: cd mm検出
コマンドライン: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
注: このモデルは、"NVIDIA GeForce RTX3090 24G" GPU でトレーニングされています。使用された中央処理装置は「AMD Epyc 7742 64コアプロセッサ×128」であり、オペレーティングシステムはUbuntu 18.06でした。全体のトレーニング時間は~2時間でした。
5.新しい画像で甲状腺結節の検出を実行する
- トレーニング後、新しい画像で甲状腺結節を検出するための検証セットで最高のパフォーマンスを持つモデルを選択します。
- まず、画像のサイズを 512 ピクセル x 512 ピクセルに変更し、正規化します。これらの操作は、テスト スクリプトの実行時に自動的に実行されます。
コマンドライン: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output - スクリプトが事前トレーニング済みモデル パラメーターを Swin Faster R-CNN に自動的に読み込むのを待ち、推論のために前処理された画像を Swin Faster R-CNN にフィードします。Swin Faster R-CNN が各画像の予測ボックスを出力するのを待ちます。
- 最後に、スクリプトが各画像に対して NMS 後処理を自動的に実行して、重複データ検出ボックスを削除できるようにします。
注: 検出結果は、パックされたファイル内の検出ボックスと境界ボックスの座標を含む画像を含む指定されたフォルダーに出力されます。
- まず、画像のサイズを 512 ピクセル x 512 ピクセルに変更し、正規化します。これらの操作は、テスト スクリプトの実行時に自動的に実行されます。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
甲状腺の米国画像は、2008年9月から2018年2月にかけて中国の2つの病院から収集されました。この研究に米国の画像を含めるための適格基準は、生検および外科的治療前の従来の米国の検査、生検または術後の病理を伴う診断、および18歳≥でした。除外基準は甲状腺組織を含まない画像とした。
3,000の超音波画像には、1,384の悪性結節と1,616の良性結節が含まれていました。悪性結節の大部分(90%)は乳頭癌であり、良性結節の66%は結節性甲状腺腫でした。ここでは、結節の25%が5mmより小さく、38%が5mmから10mmの間であり、37%が10mmより大きい。
すべての米国の画像はフィリップスIU22およびDC-80を使用して収集され、デフォルトの甲状腺検査モードが使用されました。どちらの機器にも5〜13MHzのリニアプローブが装備されていました。甲状腺下部縁の良好な露出のために、すべての患者は背中を伸ばした状態で仰臥位で検査されました。甲状腺葉と峡部の両方が、米国放射線学会の認定基準に従って縦面と横面でスキャンされました。すべての検査は、≥10年の臨床経験を持つ2人の上級甲状腺放射線科医によって実施されました。甲状腺診断は,穿刺吸引生検または甲状腺手術による病理組織学的所見に基づいていた。
実生活では、米国の画像はノイズによって破損するため、ウェーブレット変換30に基づく画像のノイズ除去、圧縮センシング31、ヒストグラムの等化32など、米国の画像の適切な前処理を行うことが重要です。本研究では、ヒストグラム等化を用いてUS画像を前処理し、画質を向上させ、ノイズによる画質劣化を緩和しました。
以下では、真陽性、偽陽性、真陰性、および偽陰性をそれぞれ TP、FP、TN、および FN と呼びます。mAP、感度、特異度を用いて、モデルの結節検出性能を評価した。mAPは、物体検出の一般的なメトリックです。感度と特異度は、式(1)と式(2)を使用して計算しました。
(1)
(2)
この論文では、TPは、予測ボックスとグラウンドトゥルースボックスの間の交点(IoU)が>0.3で、信頼度スコアが>0.6である、正しく検出された結節の数として定義されます。IoUは和集合上の交点であり、式 (3) を使用して計算されます。
(3)
SSD 33、YOLO-v334、CNNバックボーンベースのFaster R-CNN27、RetinaNet 35、DETR 36など、いくつかの古典的な物体検出ネットワークを比較しました。YOLO-v3とSSDは1段階の検出ネットワーク、DETRはトランスベースの物体検出ネットワーク、Faster R-CNNとRetinaNetは2段階の検出ネットワークです。表1は、Swin Faster R-CNNの性能が他の方法よりも優れており、CNNバックボーンのFaster R-CNNより0.028高く、YOLO-v3より0.037高い0.448 mAPに達することを示しています。Swin Faster R-CNNを使用することで、甲状腺結節の90.5%を自動的に検出することができ、これはCNNバックボーンベースのFaster R-CNN(87.1%)よりも~3%高い。図2に示すように、Swin Transformerをバックボーンとして使用すると、境界の位置決めがより正確になります。
図1:Swin高速R-CNNネットワークアーキテクチャの図。 この図の拡大版を表示するには、ここをクリックしてください。
図2:検出結果。 同じ画像の検出結果は、特定の行にあります。列は、左から右に、それぞれ Swin Faster R-CNN、Faster R-CNN、YOLO-v3、SSD、RetinaNet、および DETR の検出結果です。地域のグラウンドトゥルースは、緑色の長方形のボックスでマークされています。検出結果は、赤い長方形のボックスで囲まれています。 この図の拡大版を表示するには、ここをクリックしてください。
| 方式 | 背骨 | 地図 | 感度 | 特異 性 |
| ヨロ-v3 | ダークネット | 0.411 | 0.869 | 0.877 |
| ティッカー | VGG16 | 0.425 | 0.841 | 0.849 |
| 網膜ネット | レスネット50 | 0.382 | 0.845 | 0.841 |
| より高速なR-CNN | レスネット50 | 0.42 | 0.871 | 0.864 |
| デトル | レスネット50 | 0.416 | 0.882 | 0.86 |
| FPNなしでより高速なR-CNNをスウィン | スウィントランスフォーマー | 0.431 | 0.897 | 0.905 |
| FPNでより高速なR-CNNをスウィン | 0.448 | 0.905 | 0.909 |
表1:最先端の物体検出方法との性能比較。
補足ファイル1:データ注釈と使用するソフトウェアの取扱説明書。このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル 2: 手順 2.4.1 で説明したように、データセットをトレーニング セットと検証セットに分割するために使用される Python スクリプト。このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル 3: 手順 2.5.1 で説明したように、注釈ファイルをマスクに変換するために使用される Python スクリプト。このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル4:ステップ2.5.2で述べたように、データをCoCo形式のデータセットにするために使用されるPythonスクリプト。このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル5:手順3.1で説明した変更されたSwinトランスフォーマーモデルファイル。このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル 6: 手順 3.2 で説明した Swin より高速な R-CNN 構成ファイル。このファイルをダウンロードするには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
このホワイトペーパーでは、環境のセットアップ、データ準備、モデル構成、およびネットワークトレーニングの実行方法について詳しく説明します。環境のセットアップ段階では、依存ライブラリに互換性があり、一致していることを確認するように注意する必要があります。データ処理は非常に重要なステップです。注釈の正確性を確保するために時間と労力を費やす必要があります。モデルをトレーニングするときに、"モジュールNotFoundError" が発生することがあります。この場合、「pip install」コマンドを使用して、不足しているライブラリをインストールする必要があります。検証セットの損失が減少しない、または大きく変動しない場合は、アノテーションファイルを確認し、損失が収束するように学習率とバッチサイズを調整する必要があります。
甲状腺結節の検出は、甲状腺癌の治療にとって非常に重要です。CADシステムは、医師が結節を検出するのを支援し、主観的要因によって引き起こされる診断結果の違いを回避し、結節の検出漏れを減らすことができます。既存のCNNベースのCADシステムと比較して、この論文で提案するネットワークは、超音波画像の特徴を抽出するためのSwin Transformerを導入しています。長距離の依存関係をキャプチャすることにより、Swin Faster R-CNNは超音波画像から結節の特徴をより効率的に抽出できます。実験結果は、Swin Faster R-CNNがCNNバックボーンベースのFaster R-CNNと比較して結節検出の感度を~3%向上させることを示しています。この技術を応用することで、早期の超音波検査で甲状腺結節を検出し、医師をさらなる治療に導くことができるため、医師の負担を大幅に軽減することができます。ただし、Swin Transformer のパラメーターの数が多いため、Swin Faster R-CNN の推論時間は画像あたり ~100 ミリ秒です (NVIDIA TITAN 24G GPU および AMD Epyc 7742 CPU でテスト済み)。Swin Faster R-CNNでリアルタイム診断の要件を満たすのは難しい場合があります。今後も、本手法の有効性を検証するための事例収集を継続し、動的超音波画像解析の研究を進めていきます。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者は利益相反を宣言しません。
Acknowledgments
この研究は、中国国家自然科学基金会(助成金番号32101188)および中国の四川省科学技術局一般プロジェクト(助成金番号2021YFS0102)の支援を受けました。
Materials
| Name | Company | Catalog Number | Comments |
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
References
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Fully convolutional networks for ultrasound image segmentation of thyroid nodules. Li, X. IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. Wang, J., et al. 2018 25Th IEEE International Conference on Image Processing (ICIP), , IEEE. 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al.
- Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. Digital Image Processing. , Prentice Hall Press. Hoboken, NJ. (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A.
- Lin, T. -Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , Glasgow, UK. 23-28 (2020).
