方法論記事

Swin-PSAxialNet:効率的な多臓器セグメンテーション技術

DOI：

10.3791/66459

⸱

2024年7月5日

 ,  ,  ,  ,  ,  ,  , 
1School of Information Science and Technology, Nantong University, 2The Oncology and Hematology Department of Wuxi People's Hospital of Nanjing Medical University, Wuxi Medical Center, Nanjing Medical University

この記事について

サマリー

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本プロトコルは、Swin-PSAxialNetと呼ばれる効率的な多臓器セグメンテーション法を記述しており、これは以前のセグメンテーション方法と比較して優れた精度を達成しています。この手順の主なステップには、データセットの収集、環境設定、データの前処理、モデルのトレーニングと比較、アブレーション実験が含まれます。

要約

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

腹部多臓器セグメンテーションは、医用画像解析の分野で最も重要なトピックの1つであり、疾患診断や治療計画などの臨床ワークフローを支える重要な役割を果たしています。本研究では、nnU-Netアーキテクチャに基づく効率的な多臓器セグメンテーション法Swin-PSAxialNetを提案します。これは、CT画像内の11の腹部臓器の正確なセグメンテーションのために特別に設計されました。提案ネットワークは、nnU-Netと比較して以下の改善が行われています。まず、SPD(Space-to-Depth)モジュールとPSAA(Parameter-Shared Axial Attention)特徴抽出ブロックが導入され、3D画像特徴抽出の能力が向上しました。次に、詳細な情報と空間的特徴をキャプチャするためにマルチスケール画像融合アプローチが採用され、微妙な特徴とエッジ特徴を抽出する能力が向上しました。最後に、モデルの計算コストとトレーニング速度を削減するために、パラメーター共有方法が導入されました。提案されたネットワークは、11 の臓器が関与するセグメンテーション タスクに対して 0.93342 の平均ダイス係数を達成します。実験結果は、Swin-PSAxialNetが以前の主流のセグメンテーション方法よりも顕著な優位性を示していることを示しています。この方法は、主要な腹部臓器のセグメンテーションにおいて優れた精度と低い計算コストを示しています。

概要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

疾患の診断、治療計画の策定、治療結果の追跡など、現代の臨床介入は、医療画像の正確なセグメンテーションに依存しています1。しかし、腹部臓器2間の複雑な構造的関係により、複数の腹部臓器3の正確なセグメンテーションを達成することは困難な課題となっています。過去数十年にわたり、医用画像処理とコンピュータビジョンの盛んな発展は、腹部の多臓器セグメンテーションの分野において新たな機会と課題の両方をもたらしてきました。高度な磁気共鳴画像法(MRI)※4やCT(コンピュータ断層撮影)技術※5により、高解像度の腹部画像を取得することができます。CT画像から複数の臓器を正確にセグメンテーションすることは、肝臓、腎臓、脾臓、膵臓などの重要な臓器の評価と治療に大きな臨床的価値を持っています6,7,8,9,10 しかし、これらの解剖学的構造、特に放射線科医や放射線腫瘍医からの介入が必要な解剖学的構造の手動注釈は、時間がかかり、主観的な影響を受けやすいです11.したがって、腹部の多臓器セグメンテーションのための自動化された正確な方法を開発することが急務です。

画像セグメンテーションに関する以前の研究では、主に畳み込みニューラルネットワーク(CNN)に依存しており、レイヤーを積み重ねてResNet12を導入することでセグメンテーション効率を向上させていました。2020 年、Google の研究チームは Vision Transformer(VIT)モデル13 を導入し、Transformer アーキテクチャを従来の視覚領域に組み込んでさまざまな視覚タスク14 を組み込んだ先駆的な事例となりました。畳み込み演算は局所的な特徴情報しか考慮できませんが、Transformers のアテンション メカニズムにより、グローバルな特徴情報を包括的に考慮できます。

従来の畳み込みネットワーク15に対するTransformerベースのアーキテクチャの優位性を考慮して、多数の研究チームが、Transformerと畳み込みネットワーク16,17,18,19の強みとの間の相乗効果を最適化するための広範な調査を行ってきた。Chenらは、Transformerを活用して画像からグローバルな特徴を抽出する、医用画像セグメンテーションタスク16用のTransUNetを導入しました。ネットワークトレーニングのコストが高く、特徴抽出階層の概念を利用できないため、Transformerの利点は完全には実現されていません。

これらの問題に対処するために、多くの研究者がセグメンテーションネットワークの学習のバックボーンとしてTransformerを組み込む実験を始めています。Liuら17 は、階層化された特徴抽出のための階層的構築方法を採用したSwin Transformerを導入しました。Windows Multi-Head Self-Attention (W-MSA) の概念が提案され、特に大きな浅いレベルの特徴マップが存在する場合に、計算コストが大幅に削減されました。このアプローチにより、計算要件が軽減される一方で、異なるウィンドウ間での情報伝送も分離されました。この問題に対処するために、著者たちはさらに、隣接するウィンドウ間での情報伝達を可能にするShifted Windows Multi-Head Self-Attention(SW-MSA)の概念を導入しました。この方法論に基づいて、CaoらはSwin-UNet18を定式化し、U-Netの2D畳み込みをSwinモジュールに置き換え、W-MSAとSW-MSAをエンコードおよびデコードプロセスに組み込み、称賛に値するセグメンテーション結果を達成しました。

逆に、Zhouらは、高解像度の画像を処理する際にconv演算の利点を無視できないことを強調した19。彼らが提案するnnFormerは、局所的な3次元画像ブロックに基づくセルフアテンション計算法を採用し、十字型構造を特徴とするTransformerモデルを構成する。ローカルの3次元ブロックに基づくアテンションの利用により、ネットワークの学習負荷が大幅に軽減されました。

上記の研究の問題点を踏まえて、3D医用画像セグメンテーションのための効率的なハイブリッド階層構造であるSwin-PSAxialNetが提案されています。この方法には、ダウンサンプリングブロックであるSpace-to-depth(SPD)20 ブロックが組み込まれており、グローバル情報21を抽出できる。さらに、パラメータ共有アキシャルアテンション(PSAA)モジュールを追加し、これにより学習パラメータ数が二次から線形に減少し、ネットワークトレーニングの精度とトレーニングモデル22の複雑さに良い影響を与える。

Swin-PSAxialNetネットワーク
ネットワークの全体的なアーキテクチャは、エンコーダとデコーダの構造からなるnnU-Net23のU字型構造を採用しています。これらの構造は、 図 1 に示すように、ローカルな特徴抽出と、大小の画像からの特徴の連結に関与します。

figure-introduction-1
図 1: ネットワーク アーキテクチャの Swin-PSAxialNet 概略図。この図の拡大版を表示するには、ここをクリックしてください。

エンコーダ構造では、従来のConvブロックがSPDブロック20と組み合わされて、ダウンサンプリングボリュームが形成されます。エンコーダの最初の層には、3Dデータを3Dパッチに分割するモジュールであるパッチ埋め込みが組み込まれていますfigure-introduction-2(P1、P2、P 3)は、このコンテキストでは重複しないパッチを表し、figure-introduction-33Dパッチのシーケンス長を示します。埋め込み層に続いて、次のステップには、畳み込みブロックと SPD ブロックの両方で構成されるオーバーラップしない畳み込みダウンサンプリング ユニットが含まれます。この設定では、畳み込みブロックのストライドが 1 に設定され、SPD ブロックがイメージ スケーリングに使用されるため、解像度が 4 倍、チャネルが 2 倍に増加します。

デコーダー構造では、Bottleneck Feature 層の後の各アップサンプル ブロックは、アップサンプリング ブロックと PSAA ブロックの組み合わせで構成されます。特徴マップの解像度は 2 倍に向上し、デコーダ ステージの各ペア間でチャネル数が半分になります。空間情報を復元し、フィーチャ表現を強化するために、アップサンプリング ブロック間で大縮尺イメージと小縮尺イメージ間のフィーチャ フュージョンが実行されます。最終的に、アップサンプリングの結果は Head レイヤーに供給され、出力サイズが (H × W × D × C, C = 3) の元の画像サイズに戻ります。

SPD ブロックのアーキテクチャ
従来の方法では、ダウンサンプリング セクションでは、ステップ サイズが 2 の 1 ストライドが採用されていました。これには、画像内の局所的な位置での畳み込みプーリング、受容野の制限、およびモデルを小さな画像パッチからの特徴の抽出に制限することが含まれます。この方法では、元の画像を3次元に細かく分割するSPDブロックを利用します。元の 3D イメージは、x、y、z 軸に沿って均等にセグメント化され、4 つのサブボリューム ボディになります。(図2)続いて、4つのボリュームを「cat」操作によって連結し、得られた画像を1×1×1畳み込みを受けて、ダウンサンプリングされた画像20を得る。

figure-introduction-4
図 2: SPD のブロック図。この図の拡大版を表示するには、ここをクリックしてください。

PSAA ブロックのアーキテクチャ
従来のCNNネットワークとは対照的に、提案されているPSAAブロックは、グローバルな情報に焦点を当てる上でより効果的であり、ネットワークの学習とトレーニングにおいてより効率的です。これにより、より豊富な画像と空間的特徴をキャプチャできます。PSAA ブロックには、高さ、幅、深さの 3 次元で共有するパラメーターに基づく軸方向の注意学習が含まれています。従来のアテンションメカニズムが画像内の各ピクセルに対してアテンション学習を行うのに対し、この手法は3次元ごとに独立してアテンション学習を行うため、セルフアテンションの複雑さを2次から線形に軽減します。さらに、学習可能なキークエリパラメータ共有メカニズムが採用されているため、ネットワークは3次元にわたってアテンションメカニズムの操作を並行して実行できるため、より速く、優れており、より効果的な特徴表現が得られます。

プロトコル

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本プロトコルは、南通大学の倫理委員会によって承認されました。これには、人工知能技術を利用して、人間の医療画像、手足の動き、血管イメージングなど、取得した非侵襲的または低侵襲のマルチモーダルデータのインテリジェントな評価と研究が含まれます。 図3 は、多臓器セグメンテーションの全体的なフローチャートを示しています。必要なすべてのウェブリンクは 、資料の表に記載されています。

figure-protocol-1
図3:多臓器セグメンテーションの全体的なフローチャート。この図の拡大版を表示するには、ここをクリックしてください。

1. データセットの収集

  1. AMOS2022データセット24 をダウンロードします( 資料の表を参照)。
  2. トレーニングデータセットとして 160 枚の画像を選択し、テストデータセットとして 40 枚の画像を選択します。
  3. mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data を最後に実行します。
  4. raw_dataのパスを開きます。
  5. データセットを raw_data ディレクトリに配置し、"imagesTr" ディレクトリと "labelsTr" ディレクトリのファイル名と正しく対応していることを確認します。
  6. dataset.jsonファイルを作成します。
  7. numTraining、numTest、ラベル名などのデータセット情報を「dataset.json」ファイルに追加します。
    注: この研究のデータセットは、トレーニングおよびテスト目的でAMOS2022公式の 500 CT データセットから選択された 200 の高品質 CT データセットで構成されています。このデータセットには、脾臓、右腎臓、左腎臓、胆嚢、食道、肝臓、胃、大動脈、下大静脈、膵臓、膀胱を含む 11 の臓器が含まれています。

2. 環境設定

  1. パドルパドル環境( 資料の表を参照)と対応するCUDAバージョン25をインストールします。
    注意: Paddlepaddle バージョン 2.5.0 と CUDA バージョン 11.7 の使用をお勧めします。
  2. GitクローンPaddleSegリポジトリ25。
  3. cd ~/PaddleSeg/contrib/MedicalSeg/ を末端的に実行します。
  4. pip install -r requirements.txt を実行します。
  5. pip install medpy を実行します。

3. データの前処理

  1. data_root、batch_size、model、train_dataset、val_dataset、optimizer、lr_scheduler、loss などのパラメータを含む "yml" ファイルを変更します。
  2. 「-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval など、実行に必要なパラメータを指定します。
    注: 元の "raw_data" は、"Cropped"、"Decathlon"、"Preprocessed" の 3 種類のデータ ファイルに変換され、モデルのパフォーマンスとトレーニングの有効性を向上させるためのさまざまなトレーニングと評価の要件に対応します。

4. モデルのトレーニングと比較

注:画像セグメンテーションの分野で広く使用されているベースラインとして、nnU-Net23 は本研究のベースラインモデルとして機能します。具体的なモデル比較プロセスは次のとおりです。

  1. 電車nnU-Net
    1. バッチ サイズを 2 回と 80,000 回の反復で構成し、20 回の反復ごとにログを記録し、fp16 の精度を利用します。
    2. save_dirを作業ディレクトリ内の「output」フォルダとして設定し、保存間隔を 1,000 回の反復に設定します。
    3. VisualDL パラメーターの視覚化にパラメーター --use_vdl を追加します。
    4. train.py を実行します。
    5. 4 つの yml ファイルを作成し、フォールド 1 から 4 を指定し、5 フォールド交差検証でモデルをトレーニングします。
  2. スウィン-UNetの列車
    1. 以前に確立された実験条件との一貫性を維持します。
    2. パラメータ --nnunet を削除し、 --swinunet を使用します。
    3. train.py ファイルを実行します。
    4. 列車は1〜4を個別に折り畳み、アンサンブル処理を行います。
  3. 鉄道 TransUNet
    1. 手順 4.1 で概説されている手順に従います。
    2. ymlファイルを開きます。
    3. type: nnunet を type: transunet に変更します。
    4. パラメータ --nnunet を --transunet に変更します。
    5. train.py ファイルを実行します。
    6. 折り畳み1〜4を個別にトレインし、アンサンブル処理を処理します。
  4. UNETRの列車
    1. 一貫した実験変数を維持します。
    2. Swin-UNet や TransUNet など、前に説明した手順を繰り返します (手順 4.2 と手順 4.3)。
    3. train.py を実行します。
    4. 折り畳み1〜4を個別にトレインし、アンサンブル処理を処理します。
  5. トレイン nnFormer
    1. Swin-UNet や TransUNet などのパラメーターを変更します。
    2. シングルフォールド train.py を実行します。
    3. アンサンブル処理を実行します。

5. アブレーション実験

  1. ネットワーク全体のPSAAブロック
    1. 変数をステップ 4.1 と一貫性を保ちます。
    2. volume_shape = (64,192,192) と Axial_attention = True を設定します。
    3. シングルフォールド train.py を実行します。
    4. 5つのフォールドにわたるアンサンブル処理を処理します。
  2. ネットワーク全体のSPDブロック
    1. 変数をステップ 4.1 と一貫性を保ちます。
    2. SPD_enable = True と Axial_attention = False を設定します。
    3. 一折り train.py を実行します。
    4. 5つのフォールドにわたるアンサンブル処理を処理します。
  3. アップサンプリング用の PSAA ブロック
    注:ダウンサンプリングにSPDブロックを使用しないでください。
    1. アップサンプリングには PSAA ブロックを使用します。
    2. 変数をステップ 4.1 と一貫性を保ちます。
    3. ダウンサンプリング部分で Axial_attention = False と SPD_enable = False を設定します。
    4. シングルフォールド train.py を実行します。
    5. 5つ折りアンサンブル加工を加工します。
  4. アップサンプリング用の PSAA ブロック
    注:ダウンサンプリングにはSPDブロックを使用します。
    1. ダウンサンプリングには SPD ブロックを使用し、アップサンプリングには PSAA ブロックを使用します。
    2. 変数をステップ 4.1 と一貫性を保ちます。
    3. ダウンサンプリング部分で Axial_attention = False と SPD_enable = True を設定します。
    4. シングルフォールド train.py を実行します。
    5. 5つ折りアンサンブル加工を加工します。
    6. 反復回数を 2,00,000 に設定すると、結果が優れているためです。

結果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

このプロトコルでは、モデルを評価するために、サイコロ類似性スコア (DSC) と 95% ハウスドルフ距離 (HD95) の 2 つのメトリックを使用します。DSC はボクセル セグメンテーション予測とグラウンド トゥルースの間のオーバーラップを測定し、95% HD はボクセル セグメンテーション予測境界とグラウンド トゥルースの間のオーバーラップを評価し、外れ値の 5% をフィルタリングします。DSC26 の定義は次のとおりです。

figure-results-1(1)

ここで、T と P は、それぞれすべてのボクセルのグラウンド トゥルース値と予測値を表します。95% HD26 の定義は次のとおりです。

figure-results-2(2)

ここで、d T,P は、グラウンド トゥルースと予測ボクセルの間の最大 HD95 の 95 パーセンタイル距離、d T,P は、予測ボクセルとグラウンド トゥルースの間の最大 HD95 の 95 パーセンタイル距離を表します。

Swin-PSAxialNet は、 表 1 のさまざまな主流の多臓器セグメンテーション アルゴリズムと比較されます。結果は、提案されたアルゴリズムで腹部臓器のセグメンテーションパフォーマンスが改善されたことを示しています。セグメンテーション方式のダイス精度は、他の方式の平均ダイス値を2〜3パーセントポイント上回り、nnFormerを1パーセントポイント上回っています。Swin-PSAxialNetは、境界セグメンテーションでも高い精度を示し、平均HD95係数は5.63で、比較されたすべてのアルゴリズムの中で最も低くなっています。

メソッドLknのSPLのリヴパンアロブラストーGBDのポスエソrkn さん平均
DSCのHD95の
nnUネット96.396.897.2185.295.2286.5791.4784.791.7982.595.4491.27.13
スウィン-ウネット96.0396.6897.2285.7495.387.8291.7784.6491.6783.2696.1491.489.68
トランスUNet96.4296.7497.0585.0994.8685.291.8183.3391.5282.2296.1290.9413.77
UNETRの95.9496.4896.8584.1494.6285.0190.1881.1690.7980.3495.1590.0612.92
nnフォーマー96.5997.2297.3386.7995.3189.7492.8284.8892.4384.2496.3292.156.59
Swin-PSAxialNetの96.8597.6797.6488.3995.9792.0394.487.7893.1586.2496.5993.345.63

表1:主流のセグメンテーションアルゴリズムの比較。 略語は次の臓器を表します:左腎臓のLkn、脾臓のSpl、肝臓のLiv、膵臓のPan、大動脈のAro、膀胱のBla、胃のSto、胆嚢のGbd、postcavaのPos、食道のEso、右腎臓のRkn、平均サイコロ係数のDSC、平均95%ハウスドルフ距離のHD95。

さらに、パラメータ共有メカニズムの導入とトランス構造の改良により、モデルの複雑さと推論速度の両方で大きな利点が得られます(表2、 図4、 および図5)。

モデルパラメータ(M)フロップス (G)推論時間 (秒)
nn-ウネット17.96398.549.07
UNETRの89.5839.6712.51
nnフォーマー134.78152.4311.24
Swin-PSAxialNetの37.6443.1510.31

表2:ネットワークモデル指標の比較表。

figure-results-3
図4:モデル学習ネットワークのサイコロ変動曲線 (A)現在のネットワーク。(B)nnFormer。(C)nnU-Net。(D)UNETRの。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-4
図5:モデルのトレーニング結果の比較。 図は、現行ネットワークの結果、nnFormerの結果、nnU-Netの結果、UNETRの結果を示しています。 この図の拡大版を表示するには、ここをクリックしてください。

本研究では、アルゴリズムネットワーク上で、PSAAブロックとSPDブロックを変数として用い、1回分学習と5回分学習の比較を行い、包括的なアブレーション実験を行いました。実験結果からのダイス係数を 表3に示します。これらの結果から、SPDブロックをダウンサンプリングに、PSAAブロックをアップサンプリングに利用することで、未修正のnnU-Netと比較してセグメンテーション性能が効果的に向上していることが実証されました(図6)。

モデルネットワーク全体のPSAAブロックネットワーク全体のSPDブロックPSAAブロックはアップサンプリング専用アップサンプリング用のPSAAブロック、SPDを使用
シングルフォールドトレーニング92.1790.5192.2492.39
5つのトレーニング92.8291.2692.7993.34

表3:Swin-PSAxialNetのアブレーション実験の結果。 Swin PSAxialNetのアブレーション実験の結果が発表されます。アブレーション実験では、PSAA BlockとSPD Blockの使用を比較し、DSCの学習結果を表に示します。

figure-results-5
図 6: セグメンテーションの結果。この図の拡大版を表示するには、ここをクリックしてください。

ディスカッション

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

腹部臓器のセグメンテーションは複雑な作業です。脳や心臓など、人体の他の内部構造と比較して、CT画像のコントラストが低く、形状変化が大きいため、腹部臓器のセグメンテーションはより困難に思えます27,28。ここでは、この難しい問題を解決するためにSwin-PSAxialNetを提案しています。

データ収集ステップでは、この研究では、AMOS2022公式ウェブサイト24から200枚の画像をダウンロードした。環境設定のステップでは、実験セットアップにPaddlepaddle環境とそれに対応するCUDAバージョンが含まれていました。データの前処理ステップでは、データの堅牢性を高めるために、ランダムクロッピングとランダムフリッピングが適用されました。モデルの学習と比較のステップでは、ベースラインモデルのnnU-Netをベースに、ダウンサンプリング用のSPD Blockとアップサンプリング用のPSAA feature extractionブロックを実験に追加し、優れたセグメンテーション結果を達成しました。Swin-PSAxialNetは、さまざまな主流のセグメンテーションモデルと比較され、公開データセットAMOS2022で有望な結果を示しました。この調査で言及された他のセグメンテーション方法よりも高いセグメンテーション精度を達成しました16,17,18,19。アブレーション実験のセクションでは、PSAAブロックとSPDブロックの使用法を変化させて、最適なセグメンテーションネットワークを見つけました。アブレーション実験の結果、PSAAモジュールをアップサンプリングのみに使用すると、ネットワーク全体でPSAAモジュールを使用するよりも1ポイント高い結果が得られることが示されました。

この研究の革新性は次のとおりです:まず、SPDモジュールがネットワークに組み込まれて、Convブロックと並んでダウンサンプリングユニットを構成し、それによってネットワークの特徴抽出機能が強化されます。次に、PSAA 特徴抽出ブロックの導入により、ネットワークの複雑さが効果的に軽減され、トレーニングの精度が向上します。最後に、パラメータ共有メカニズムの導入により、トレーニングモデルの複雑さが大幅に軽減されます。

この研究には、次の点で制限があります:AMOS2022データセットにのみ適用されており、結果は他のデータセットで検証されていません。繰り返しになりますが、nnU-Netは自動セグメンテーションフレームワークとして一連の最適化を経て、腹部臓器セグメンテーションタスクにおいて高い性能を達成しましたが、初期学習率、反復回数、ネットワークアーキテクチャなど、一部のパラメータにはまだある程度の主観性があります。今後の研究では、これらのパラメータ29の自動計算の方法を探求します。

Swin-PSAxialNetは、腹部臓器のセグメンテーションタスクで優れたセグメンテーション結果を達成し、強力な一般化能力と安定性を示しています。今後の研究では、アルゴリズムの一般化機能をさらに調査し、モデルを調整するために、追加のデータセットを使用する予定です。さらに、アルゴリズムの構造をさらに最適化して、ネットワークの全体的な精度と堅牢性を向上させることができます。その目的は、ネットワークをマルチモーダル機能と統合して、医療マルチモーダルモデルに変換することです。

開示事項

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者は、利益相反を宣言しません。

謝辞

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この研究は、江蘇省の「333」エンジニアリングプロジェクト([2022]21-003)、無錫衛生委員会一般プログラム(M202205)、無錫科学技術開発基金(Y20212002-1)の支援を受けており、彼らの貢献はこの研究の成功に非常に貴重です。」著者らは、すべての研究助手と研究参加者の支援に感謝します。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
AMOS2022データセット何一つ何一つネットワークトレーニングとテストのためのデータセット。ウェブリンクは https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb
ASUSメインフレームASUSのhttps://www.asusparts.eu/en/asus-13020-01910200
CUDA バージョン 11.7エヌビディアhttps://developer.nvidia.com/cuda-11-7-0-download-archive
NVIDIA GeForce RTX 3090 (英語)エヌビディアhttps://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/
パドルパドル環境 バイドゥ何一つネットワーク訓練のための環境準備ウェブリンクは https://www.paddlepaddle.org.cn/
パドルセグバイドゥ何一つ使用するベースライン: https://github.com/PaddlePaddle/PaddleSeg

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Song, L., Liu, S., Zhang, Y. A review of deep-learning-based medical image segmentation methods. Sustain. 13 (3), 1224(2021).
  2. Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. CT artifact recognition for the nuclear technologist. J Nucl Med Technol. 36 (2), 79-81 (2008).
  3. Rehman, A., Khan, F. G. A deep learning based review on abdominal images. Multimed Tools Appl. 80, 30321-30352 (2021).
  4. Schenck, J. F. The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds. Med Phys. 23 (6), 815-850 (1996).
  5. Palmisano, A., et al. Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome. Radiol. 302 (3), 545-553 (2022).
  6. Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. An automatic diagnostic system for CT liver image classification. IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).
  7. Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. Computed tomography of the kidney. Radiol. 124 (2), 359-370 (1977).
  8. Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. CT of congenital and acquired abnormalities of the spleen. Radiographics. 13 (3), 597-610 (1993).
  9. Almeida, R. R., et al. Advances in pancreatic CT imaging. AJR Am J Roentgenol. 211 (1), 52-66 (2018).
  10. Eisen, G. M., et al. Guidelines for credentialing and granting privileges for endoscopic ultrasound. Gastrointest Endosc. 54 (6), 811-814 (2001).
  11. Sykes, J. Reflections on the current status of commercial automated segmentation systems in clinical practice. J Med Radiat Sci. 61 (3), 131-134 (2014).
  12. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).
  13. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. arXiv. , 11929(2020).
  14. Ramachandran, P., et al. Stand-alone self-attention in vision models. Adv Neural Inf Process Syst. 32, NIPS2019 (2019).
  15. Vaswani, A., et al. Attention is all you need. Adv Neural Inf Process Syst. 30, NIPS2019 (2017).
  16. Chen, J., et al. TransUNET: Transformers make strong encoders for medical image segmentation. arXiv. , arXiv:2102 04396(2021).
  17. Liu, Z., et al. Swin transformer: Hierarchical vision transformer using shifted windows. Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).
  18. Cao, H., et al. Swin-UNET: Unet-like pure transformer for medical image segmentation. Comput Vis ECCV. , 205-218 (2022).
  19. Zhou, H. -Y., et al. nnformer: Interleaved transformer for volumetric segmentation. arXiv. arXiv. , arXiv:2109 03201(2021).
  20. Sunkara, R., Luo, T. No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects. Mach Learn Knowl Discov Databases. , 443-459 (2023).
  21. Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. 3D U-Net: learning dense volumetric segmentation from sparse annotation. Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).
  22. Kim, H., et al. Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network. Scientific reports. 10 (1), 6204(2020).
  23. Isensee, F., et al. nnu-net: Self-adapting framework for u-net-based medical image segmentation. arXiv. , arXiv:1809 10486(2018).
  24. Ji, Y., et al. A large-scale abdominal multi-organ benchmark for versatile medical image segmentation. Adv Neural Inf Process Syst. 35, 36722-36732 (2022).
  25. Liu, Y., et al. Paddleseg: A high-efficient development toolkit for image segmentation. arXiv. , arXiv:2101 06175(2021).
  26. Hatamizadeh, A., et al. UNETR: Transformers for 3D medical image segmentation. Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).
  27. Zhou, H., Zeng, D., Bian, Z., Ma, J. A semi-supervised network-based tissue-aware contrast enhancement method for ct images. Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).
  28. Ma, J., et al. Abdomenct-1k: Is abdominal organ segmentation a solved problem. IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).
  29. Galván, E., Mooney, P. Neuroevolution in deep neural networks: Current trends and future challenges. IEEE Trans Artif Intell. 2 (6), 476-493 (2021).

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

CT nnU Net Space To Depth

関連記事