3D蛍光顕微鏡画像における管状構造の深層学習ベースのセグメンテーションのためのオープンソースプロトコル

Summary

このプロトコルは、3次元(3D)蛍光顕微鏡画像で管状構造をセグメント化するための完全なパイプラインを提供するオープンソースツールボックスを導入します。シミュレーションベースのデータ拡張を備えたディープラーニングを採用し、U-NetおよびAttention U-Netモデルをトレーニングし、定性的および定量的評価を提供し、トレーニング、推論、視覚化のためのユーザーフレンドリーなノートブックを全体に含めます。

Abstract

3D蛍光顕微鏡画像から緻密な生体組織の管状構造をセグメント化することは、複雑な組織を研究するために重要ですが、画像の複雑さ、ばらつき、および品質の問題により、依然として困難です。ここでは、正式なプログラミングトレーニングを受けなくても研究者がアクセスできる、3D画像内の管状構造をエンドツーエンドでセグメンテーションするためのオープンソースのユーザーフレンドリーなツールボックスを紹介します。このツールボックスには、管状ネットワークの正確な 3D セグメンテーションのために、2 つのシンプルかつ効率的なディープラーニング アーキテクチャ (3D U-Net とアテンション メカニズムを備えた 3D U-Net) を実装したインタラクティブな Jupyter ノートブックが搭載されています。重要な革新は、最小限のトレーニングデータ(わずか1つの3D画像)でもモデルのパフォーマンスを向上させるシミュレーションベースのデータ拡張戦略です。このプロトコルは、ユーザー提供のマスクを使用して、さまざまな信号対雑音比の人工顕微鏡画像を生成し、不均一な染色、点拡散関数畳み込み、軸方向の強度変動、ポアソンおよびガウスノイズなどのリアルなイメージングアーティファクトをシミュレートします。このプロトコルは、データ拡張、モデルトレーニング、テストセットの定性的および定量的評価、および新しい画像の推論を通じてユーザーを体系的にガイドします。マウス肝組織における形態学的に異なる2つの管状ネットワーク(胆管ネットワークと正弦波ネットワーク)を分析することにより、ツールボックスを検証し、両方のアーキテクチャが良好に機能し、拡張データでトレーニングした場合、アテンションU-Netが標準のU-Netをわずかに上回ることを実証しました。ローカルのグラフィックス プロセッシング ユニット (GPU)、ハイ パフォーマンス コンピューティング クラスター、またはクラウド プラットフォームで実行可能な当社の包括的なツールボックスは、幅広い研究者にとって高度な画像分析の民主化に貢献します。

Introduction

肝臓の血管、神経ネットワーク、胆管などの生体組織における尿細管構造の定量的分析は、血管新生、腫瘍転移、臓^{器発生などの}生理学的および病理学的プロセスを理解するための基礎です^1,2,3。3次元(3D)蛍光顕微鏡は、これらの複雑なネットワークをイメージングするための極めて重要なツールとして登場し、高い空間分解能を提供し、ネイティブなコンテキストで複雑な組織構造の視覚化を可能にします4,5,6,7。しかし、緻密な生体組織から管状構造を正確にセグメント化することは、イメージングアーティファクト、信号のばらつき、生体標本に固有の不均一な形態により、依然として手ごわい課題です。しきい値、領域成長、モデルベースのアルゴリズムなどの従来のセグメンテーション手法では、多くの場合、大規模な手動介入と細心の注意を払ったパラメーター調整が必要であり、特に肝臓^{8、9、10、11}、12 などの複雑な 3D 組織の場合、時間がかかり、主観的になる可能性があります 8、9、10^、11、12.これらのアプローチは、生体サンプルやイメージング条件に固有の変動性に対して堅牢ではないことが多く、さまざまなデータセットや実験セットアップにわたる一般化可能性が制限されます。ImageJ¹³ や TiQuant⁸ などのソフトウェア ツールは、組織の分析と定量化を支援するために開発されました。ただし、複雑な管状ネットワークを完全自動で包括的に 3D 再構成するために必要な柔軟性や拡張性が欠けている可能性があります。

ディープラーニングは、セグメンテーションタスクを高精度かつ効率的に自動化することにより、生物医学画像解析に革命をもたらしました14,15,16。畳み込みニューラルネットワーク(CNN)、特にU-Netのようなエンコーダ-デコーダアーキテクチャは、さまざまな生物医学イメージングアプリケーション^17、18、19で優れた性能を実証しています。さらに、U-Netを3Dデータ(3D U-Net)に拡張することで、体積画像の効果的な処理が可能になり、3次元すべてで空間コンテキストをキャプチャし、複雑な構造のセグメンテーション精度が向上します²⁰。これらのアーキテクチャ (Attention U-Net) にアテンション メカニズムを組み込むと、ネットワークが無関係なバックグラウンド ノイズを抑制しながら顕著な特徴に集中できるようになり、パフォーマンスがさらに向上します 18,21,22。その可能性にもかかわらず、3D セグメンテーションに深層学習モデルを実装することは大きな課題をもたらします。これらのモデルのトレーニングには通常、プログラミングの専門知識、強力な計算リソースへのアクセス、および注釈付きの大規模なデータセットが必要ですが、すべての研究者がすぐに利用できるわけではありません。3D 画像に注釈を付けるのは特に労働集約的であり、多くの場合、多数のスライスにわたる複雑な構造に手動でラベルを付ける必要があり、大規模なデータセットでは法外な場合があります。データ拡張技術は、回転、スケーリング、反転などの変換を通じてデータセットの多様性を人為的に増やすことで、広範なトレーニング データの必要性を軽減できますが、従来の拡張方法では、生体画像、特に複雑な 3D 構造を含む画像の変動性と複雑さを完全には捉えられない可能性があります。

これらの制限に対処するために、3D顕微鏡画像内の管状構造をエンドツーエンドでセグメンテーションするためのオープンソースのユーザーフレンドリーなツールボックスを導入しました。このツールボックスは、インタラクティブなJupyterノートブックを採用し、2つの堅牢な深層学習手法(3D U-Net ^17,20とアテンションメカニズムを備えた3D U-Net^18,21)を実装して、広範なプログラミング知識を必要とせずに3D管状構造を正確にセグメンテーションします。私たちのプロトコルの重要な革新は、最小限のトレーニングデータ(わずか1つの3D画像)でもモデルのパフォーマンスを向上させるシミュレーションベースのデータ拡張戦略です。このプロトコルは、ユーザー提供のマスクを活用することで、さまざまな信号対雑音比の人工顕微鏡画像を生成し、不均一な染色、共焦点顕微鏡の点拡散関数(PSF)による畳み込み、抗体の浸透または散乱による軸方向の強度の変化、ポアソンノイズとガウスノイズの存在など、リアルなイメージングアーティファクトをシミュレートします。このシミュレーションベースの拡張により、トレーニング データの量が増加するだけでなく、現実的なバリエーションでデータセットが充実し、目に見えないデータに対するモデルの一般化可能性が向上します。このプロトコルは、データ拡張、モデルトレーニング、テストセットでのモデル予測の定性的および定量的評価、および新しい画像の推論を通じてユーザーを体系的にガイドします(図1)。マウス肝組織における形態学的に異なる2つの管状ネットワーク、胆管ネットワークと正弦波ネットワークを分析することにより、ツールボックスの有用性を検証します。これらのネットワークは、さまざまな構造特性とイメージングの課題を示し、私たちの方法に堅牢なテストベッドを提供します。

既存の研究のほとんどは 2D 画像解析に焦点を当てており、複雑な 3D アーキテクチャの理解が制限されていますが、私たちのアプローチは、組織構造の複雑さを完全に捉えるために 3D セグメンテーションに重点を置いています。当社のツールボックスは、確立された強力なディープラーニング アーキテクチャをユーザーフレンドリーなインターフェイスと統合することで、最先端の画像分析ツールへのアクセスの民主化に貢献します。当社のパイプラインは、ローカル GPU、ハイ パフォーマンス コンピューティング クラスター、または Google Colab などのクラウド プラットフォーム上で実行できるため、計算リソースに関係なく、より幅広い研究者が高度な画像分析にアクセスできるようになります。この研究は、管状構造の 3D セグメンテーションのためのアクセスしやすく包括的なソリューションを提供し、組織機能と疾患メカニズムの理解を進めるために不可欠な定量分析を促進することで、この分野に貢献します。

Protocol

1. ツールボックスのインストールとセットアップ

1. GitHub からツールボックスをダウンロードする
   1. Web ブラウザーを開き、ツールボックスの GitHub リポジトリに移動します。https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Git クローン (オプション A) を使用してダウンロードします。Git がシステムにインストールされていることを確認します。ない場合は、 https://git-scm.com/downloads からダウンロードしてインストールします。ターミナル (Unix/Linux/macOS) またはコマンド プロンプト (Windows) を開き、ツールボックスを格納するディレクトリに移動します。次のように入力してリポジトリを複製します。
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. ZIPファイルをダウンロードします(オプションB)。GitHub ページで、緑色のコード ボタンをクリックし、 [ ZIP のダウンロード] を選択します。ZIPファイルを優先ディレクトリに保存し、ZIPファイルの内容を解凍します。
2. Conda 環境のセットアップ
   1. Anaconda または Miniconda をインストールします。まだインストールされていない場合は、Anaconda を以下からダウンロードします。
      https://docs.anaconda.com/miniconda/ の https://www.anaconda.com/download またはミニコンダ。使用しているオペレーティングシステムのインストール手順に従ってください。
   2. ターミナルまたはコマンドプロンプトを開きます。次のように入力して、Python 3.10 で img_seg_env という名前の新しい Conda 環境を作成します。
      conda create -n img_seg_env python=3.10
   3. 次のように入力して Conda 環境をアクティブにします。
      conda アクティブ化img_seg_env
      または、Windows の img_seg_env をアクティブ化 します
3. requirements.txt を使用して必要な依存関係をインストールします。必ずツールボックスのルートディレクトリにあります。次のように入力して、 pip を使用して必要な Python パッケージをインストールします。
   pip install -r requirements.txt
   注: このコマンドは、 requirements.txt ファイルを読み取り、必要なすべてのパッケージをインストールします
   1. numpy、scipy、matplotlib、tensorflow、jupyter などのパッケージがインストールされていることを確認します。インストールが成功したことを確認し、次のように入力してインストール済みパッケージを一覧表示します。
      pip リスト
4. Jupyter Notebook の起動
   1. アクティブ化された Conda 環境で、次のように入力して Jupyter Notebook を起動します。
      Jupyter Notebook (Jupyter ノートブック)
   2. 強化されたインターフェイスを提供する JupyterLab が望ましい場合は、次のコマンドを実行します。
      ジュピターラボ
   3. Jupyter インターフェイスへのアクセス: Web ブラウザーが自動的に開き、Jupyter インターフェイスが表示されるまで待ちます。自動的に開かない場合は、ターミナルで提供された URL (http://localhost:8888/tree など) を取得し、Web ブラウザーで手動で開きます。
   4. Jupyter インターフェイスで、ツールボックスに付属の Jupyter ノートブックを含むディレクトリ (例: /path/to/3DMicroscopyImageSegmentation-main/) に移動します。

2. データの準備(図1A)

1. 管状構造物の画像データの生成
   1. 3D顕微鏡画像の取得
      1. マウス肝組織の公開されている3D画像を以下からダウンロードします。 https://zenodo.org/records/14029574 データセットには、⁹の元の画像から切り取られた胆管(BC)と正弦波ネットワークの3D共焦点画像が含まれています。または、生成された一連の画像を使用します。
   2. 3D PSF の取得
      1. 実点拡散関数(PSF)画像を https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif からダウンロードまたは、顕微鏡のパラメータを使用してDeconvolutionLab2²³を使用して理論上のPSFを生成します。
   3. 次のセグメンテーション方法を使用して、管状構造のバイナリマスクを生成します。
      1. フィジーにおけるMorpholibJを用いた半自動セグメンテーション
         1. フィジーを開きます。顕微鏡画像をロードします。
         2. メニューに移動 プロセス |バイナリ |MakeBinary、メソッドとしてOtsuを選択し、OKを押します。
         3. プラグインMorpholibJを開き、プラグイン|モルホリブJ |フィルタリング |形態学的フィルター(3D)
         4. 閉じる操作を選択し、要素の形状をボール(管状構造に最適)に設定し、適切な半径をボクセル単位で選択します。[要素の表示] をクリックして、構造化要素を視覚化します。管状構造の場合は、3〜8ピクセルの値を試してください。
            注: 半径が大きいと、アーティファクトが発生する可能性があります。
         5. image_closing.tif[ ファイル] |名前を付けて保存... |ティフ...。
            注: 生成された各マスクが、ファイル名が一致する正しい元の画像ファイルに対応していることを確認してください。事前計算されたマスクの例は、次の場所からダウンロードできます https://doi.org/10.5281/zenodo.14029574
   4. マスクを手動でキュレーションします。
      1. Labkit²⁴ をダウンロードしてインストールするには、次の手順に従ってください: https://github.com/juglab/labkit-ui.各予備マスクを開き、描画ツールと消去ツールを使用して、管状構造を正確に描写するための領域を追加または削除することで、セグメンテーションエラーを手動で修正します。キュレーションされたマスクを、元の画像と同じファイル名のまま保存します。
      2. Napari²⁵の使用
         1. コマンドプロンプトを開き、Napari環境をアクティブにします(まだアクティブでない場合)。
            conda アクティブ化napari_env
         2. napariを起動します。
            ナパリ
         3. 顕微鏡画像とそれに対応するバイナリマスクの両方をnapariにドラッグアンドドロップします。
         4. マスクレイヤー名を右クリックし、[ ラベルに変換]を選択して、バイナリマスクをラベルレイヤーに変換します。
         5. 輪郭幅を 1 に設定し、キュレーションを開始します。穴を埋めるには、ピックツールを使用してマスク値を選択します。[バケットを埋める]ツールをアクティブにし、穴の内側をクリックします。
            注: 画像全体が塗りつぶされている場合は、構造に隙間がある可能性があります。 ペイントブラシ を使用して境界を閉じてから、 バケットの塗りつぶし ツールをもう一度試してください。
         6. キュレーションが完了したら、[ ファイル] |選択したレイヤーを保存 |TIFFです。フィジーで修正したマスクを開き、[ 画像] |タイプ |8ビット。最終的な 8 ビット イメージを保存します。
2. データセットの整理
   1. データセットのディレクトリ構造を作成します。
      1. データセットを保存するディレクトリを選択します (例: /path/to/your/dataset)。次のフォルダー構造を作成します。
         データセット/
         ├── training_data/
         │ ├── images/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── マスク/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── 画像/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └──マスク/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. 画像とマスクを整理します。
      1. トレーニングデータ
         1. 学習用の3D顕微鏡画像をdataset/training_data/images/に配置します。ファイル名の一貫性があることを確認してください (例: img1.tif、img2.tif)。
         2. 対応するキュレーションされたバイナリマスクを dataset/training_data/masks/ に配置し、ファイル名が images フォルダー内のファイル名と一致していることを確認します (例: img1.tif、img2.tif)。
      2. テストデータ
         1. テスト用の3D顕微鏡画像をdataset/test_data/images/に配置します。トレーニングデータと重複しない一貫したファイル名を使用します。
         2. 対応するキュレーションされたバイナリマスクを dataset/test_data/masks/ に配置します。ファイル名がテスト画像フォルダー内のファイル名と一致していることを確認します。

3. パイプライン全体の実行 (図 1B-E)

1. Jupyter ノートブックを開きます。
   1. 次のように入力して、Conda 環境img_seg_envをアクティブにします。
      conda アクティブ化img_seg_env
   2. プロジェクトのルートフォルダに移動します。
      cd /path/to/ImageSegmentationcode/
   3. Jupyter Lab または jupyter notebook と入力して、Jupyter インターフェイスを起動します。
   4. Web ブラウザーで、process_images.ipynb という名前のノートブックを開きます。
2. 環境のセットアップ
   1. ライブラリをインポートし、GPUアクセスを設定します。
      注: 1 番目と 2 番目のノートブック セルでは、ライブラリがインポートされ、メモリーの増加が有効になっている GPU を使用するように TensorFlow が構成されます。これにより、TensorFlow はすべての GPU メモリを一度に割り当てる必要がなく、複数のタスクと互換性があります。セル内の内容は変更しないでください。 再生 ボタンを押してセルを実行します。
3. 入力パラメーターの構成
   1. 入力構成セルを見つけ、データセットに従って変更します。
      source_dir = '/パス/先/データ/BC/'
      psf_path = '/パス/宛先/PSF.tif'
      code_dir = '/パス/先/コード/'
      out_dir = '/パス/to/output/'
      out_name = 'BC'
   2. セル3を 再生 ボタンを押して実行します。
   3. セル内の内容は変更しないでください。セル4の 再生 ボタンを押してセルを実行します。
4. パッチの生成
   1. 「 データセットの作成 」セルを実行して、トレーニングパッチとテストパッチを生成します。セルの内容は変更しないでください。 再生 ボタンを押してセルを実行します。
5. モデルトレーニング
   1. [ モデルのトレーニング] セルを実行して、3 つの拡張設定 (NONE、STANDARD、および Simulation-based) を使用して UNet3D をトレーニングします。
   2. 'UNet3D' を 'UNet3D'、'AttentionUNet3D' に置き換えて、UNet3D をアテンションでトレーニングします。必要に応じて、config.py でトレーニング設定を変更します(手順3.9を参照)。
6. 予測の生成
   1. 「 予測の生成」 セルを実行して、テスト・データにセグメンテーション・マスクを生成します。セルの内容を変更しないでください。 再生 ボタンを押してセルを実行します。
7. 評価とプロット生成
   1. [ プロットの生成 ]セルを実行して、評価メトリックの箱ひげ図を生成します。
8. 結果のレビューと解釈
   1. out_images_pathとout_plots_pathで定義されたパスの出力を確認します。
   2. パッチレベルとフルイメージの指標でモデルと拡張戦略を比較した箱ひげ図を調べます。
9. config.py によるカスタマイズ
   1. config.py で次の主要なパラメーターを変更して、パイプラインをカスタマイズします。
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "注意UNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. トラブルシューティング
    1. メモリ不足エラーの場合は、config.py のBATCH_SIZEまたはPATCH_SIZEを減らします。
    2. GPU の問題については、十分なメモリーが使用可能であることを確認するか、バッチ・サイズを小さくします。
11. 最終確認
    1. パイプラインが完了したら、次の印刷メッセージを探します。
       すべての計算が正常に終了しました
    2. CUDA をサポートする NVIDIA GPU を搭載した Linux または Windows システムで TensorFlow を実行することを強くお勧めします。CUDA を使用した tensorflow のインストールに問題がある場合は、公式のインストール プロセスに従ってください https://www.tensorflow.org/install/pip

Results

データ収集
私たちのツールボックスを検証するために、成体マウス肝組織における2つの異なる管状ネットワーク、胆管(BC)と正弦波ネットワークを分析しました。各構造について、1 匹の動物からの 1 つの 3D 顕微鏡画像がトレーニングに使用され、異なる動物からの 2 つの独立した画像がテスト専用に使用されました。すべての肝臓画像は、0.3 μm/ボクセルの等方性ボクセル解像度で取得され、3つの空間次元にわたって一貫したサンプリングが保証されました。このデータセットは、もともと Morales-Navarrete et ^al.9 で公開され、Labkit²⁵ を使用してキュレーションされ、教師あり学習のグラウンド トゥルースとして使用される管状構造の高品質のバイナリ マスクを提供します。正弦波ネットワークでは、チューブの境界の輪郭を描くもの(中空表現)と、充填されたチューブの体積をキャプチャするものの2種類のバイナリマスクを生成し、アプリケーションに応じて異なるトレーニング戦略を可能にします。

さらに、2024 SELMA3D チャレンジの一環として提供された、成体の 筋肉の全脳血管の外部データセットでツールボックスを評価しました。このデータセットは、標準的な収容条件(12時間の光/12時間の暗サイクルで3か月)で取得された3Dライトシート顕微鏡画像で構成され、BioStudies(S-BIAD1197)画像²⁶から入手できます。5 枚の脳画像がトレーニングに使用され、19 枚がテストに使用されました。元の異方性スタックは、フィジーで線形補間を使用して等方性ボクセル次元にリサンプリングされ、分析パイプラインとの互換性を確保しました。

前処理
限られた数の元の3D画像に対処するために、リアルなイメージングアーティファクトを導入し、15対1の範囲のさまざまな信号対雑音比をシミュレートするデータ拡張技術を適用しました。このアプローチは、モデルの一般化可能性と堅牢性を高めるために重要でした。

テスト画像は、地域レベルでモデルのパフォーマンスを評価し、同じ 3D ボリューム内のさまざまな空間コンテキストにわたる堅牢性を評価するために、64 x 64 x 64 ボクセルの重複しないパッチに細分化されました。

モデルアーキテクチャ
3Dセグメンテーション用に調整された2つの畳み込みニューラルネットワークアーキテクチャを実装し、比較しました。

標準的な3D U-Net¹⁷は、最大プーリングが2×2×2の対称エンコーダ/デコーダブロック、ReLU活性化による畳み込み層、および最終的な1 x 1 x 1畳み込みとそれに続く二項分類用のシグモイド関数で構成されています。

顕著な特徴を動的に強調し、無関係な背景を抑制するアテンションメカニズムを組み込んだアテンションU-Net²⁷は、肝尿細管ネットワークなどの複雑で可変的な構造のセグメンテーションを改善します。

トレーニングプロトコル
どちらのアーキテクチャも、32 個の CPU コア、128 GB RAM、および 2 つの NVIDIA A100 SXM4 40 GB GPU を搭載したハイパフォーマンス コンピューティング クラスターで TensorFlow ライブラリと Keras ライブラリを使用してトレーニングされました。Attention U-Netは、特に拡張データセットを使用する場合、アーキテクチャが複雑であるため、より多くのトレーニング時間を必要としました( 表1を参照)。

評価メトリック
モデルのパフォーマンスは、標準的なセグメンテーション指標(サイコロ係数、交差対ユニオン(IoU)、F1スコア、体積類似性、感度と特異度)を使用して、ホールドアウトされたテスト画像で定量的に評価されました。

BC、正弦波構造、および血管の結果を 図2、 図3、 図4、 および図5にまとめます。さらに、 表2は 、Otsuや適応閾値を含む、管状セグメンテーションの確立された古典的な方法とのパフォーマンス比較を示しています。私たちのモデル、特に拡張データでトレーニングされたAttention U-Netは、すべての指標で一貫してこれらの従来の方法を上回りました。

統計分析と堅牢性
テストセット内の画像全体と64 x 64 x 64のボクセルパッチ(表3)の分析により、地域間のモデル予測の空間的変動性を定量化することもできました。すべてのモデルが高い精度を示し、Attention U-Net は、特に F1 スコアとサイコロ係数において一貫して高いパフォーマンスを示しました。 図2A、B、 図3A、B、 図4A、B、 図5A、B、および ビデオ1、 ビデオ2、 ビデオ3、 およびビデオ4に示されている定性結果は、これらの発見を裏付けており、テストデータのほとんどの領域で管状構造の正確な描写を示しています。

パフォーマンス メトリックの異常の説明
パッチ分析の箱ひげ図の値が小さいほど(補足図S1、補足図S2、補足図S3、補足図S4、 および 補足図S5)は、テストパッチのサブセットにパフォーマンスの外れ値が存在することを示しています。同様に、ビデオの最終フレームでの最適ではないセグメンテーションは、次の 2 つの重要な要因に起因する可能性があります。

境界効果:セグメンテーションのパフォーマンスは、部分的な構造が過小表現されているか、不完全にキャプチャされている画像境界で低下することが多く、不確実性が高まり、誤分類の可能性が高まります。

より深いZ平面での画質の低下:等方性ボクセルサイズにもかかわらず、信号の減衰、光散乱、z方向のコントラストの低下などの生物学的および技術的要因により、ボリュームの下部に向かって画質が低下します。この劣化により、正確な境界描写が複雑になり、セグメンテーションの不整合が発生します。

これらの要因は、3D 生物学的イメージングに固有の課題であり、イメージング平面から離れた領域や、あいまいな構造境界を含む領域に特に影響を及ぼします。

要約すると、私たちの結果は、ディープラーニングベースのセグメンテーションモデル、特に拡張データでトレーニングされたAttention U-Netが、3D肝臓顕微鏡画像における複雑な管状構造の堅牢かつ正確な描写を提供することを示しています。厳選されたデータセット、現実的な拡張戦略、アテンション メカニズムを活用することで、モデルはしきい値設定などの従来の方法と比較して優れたパフォーマンスを達成しました。64³ ボクセル パッチを使用した地域評価では、さまざまな画像領域と構造の複雑さにわたるアプローチの一貫性と一般化可能性が確認されました。主に境界効果とZ平面画像の劣化により、いくつかの制限が残っていますが、私たちの研究は、アテンションベースのアーキテクチャの有効性を強調し、生物医学イメージングにおける高精度の3D管状セグメンテーションのための検証済みのオープンソースソリューションを提供します。

図1:U-NetおよびAttention U-Netモデルを使用した蛍光顕微鏡画像における管状構造の3Dセグメンテーションのワークフロー。(A) データ準備:マウス肝組織の3D蛍光顕微鏡画像の回路図2Dセクション、元の画像と対応するバイナリマスクを示します。 (B) データ拡張:準備されたデータをシミュレーションベースで拡張し、さまざまな信号対雑音比(SNR = 15およびSNR = 1など)の画像を生成します。 (C) モデルトレーニング: 元のデータと拡張データの両方を使用した U-Net モデルと Attention U-Net モデルのパッチベースのトレーニング。トレーニング用に、サイズ 64 x 64 x 64 の画像パッチとマスク パッチが生成されます。 (D) モデル評価: テストデータセットのセグメンテーション精度を評価するために、再現率や F1 スコアなどの定量的なパフォーマンス指標がモデルごとに計算されます。 (E) モデル推論:学習したモデルを目に見えない画像に適用して、予測されたセグメンテーションマスクを生成します。略語:SNR =信号対雑音比。 この図の拡大版を表示するには、ここをクリックしてください。

図2:マウス肝組織の3D蛍光顕微鏡画像からの胆汁小管ネットワークのセグメンテーションのためのU-NetおよびAttention U-Netモデルの評価。(A) 3D蛍光顕微鏡画像の代表的な2Dセクション(中央セクション)で、マウス肝組織におけるBCの元画像と対応するグラウンドトゥルースマスクを表示します。右上の画像は、各セクションで強調表示されているインセットを拡大して表示します。 (B) U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された予測セグメンテーションマスク。上の行には、各モデルの真陽性(正しくセグメント化された構造)が強調表示され、下の行には、各モデルの偽陽性(誤って識別された構造)と偽陰性(欠落した構造)が表示されます。 (C) 精度、F1 スコア、精度、再現率、体積類似性、サイコロ係数など、各モデルの定量的評価指標。評価は、3D画像から押し出されたパッチで実行されました。エラーバーは、テスト画像全体の標準偏差を示します。スケールバー:60 μm;はめ込みスケールバー:30 μm。略語:BC =胆汁小管。 この図の拡大版を表示するには、ここをクリックしてください。

図3:マウス肝組織の3D蛍光顕微鏡画像からの正弦波ネットワークのセグメンテーションのためのU-NetおよびAttention U-Netモデルの評価。(A) 3D蛍光顕微鏡画像の代表的な2Dセクション(中央セクション)で、マウス肝組織中の正弦波の元の画像と対応するグラウンドトゥルースマスクを表示します。右上の画像は、各セクションで強調表示されているインセットを拡大して表示します。 (B) U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された予測セグメンテーションマスク。上の行には、各モデルの真陽性(正しくセグメント化された構造)が強調表示され、下の行には、各モデルの偽陽性(誤って識別された構造)と偽陰性(欠落した構造)が表示されます。 (C) 精度、F1 スコア、精度、再現率、体積類似性、サイコロ係数など、各モデルの定量的評価指標。評価は、3D画像から押し出されたパッチで実行されました。エラーバーは、テスト画像全体の標準偏差を示します。スケールバー:60 μm;はめ込みスケールバー:30μm。 この図の拡大版を表示するには、ここをクリックしてください。

図4:マスクを充填チューブとして考慮した、マウス肝組織の3D蛍光顕微鏡画像からの正弦波ネットワークのセグメンテーションのためのU-NetおよびAttention U-Netモデルの評価。(A) マウス肝組織内の正弦波の元の画像と対応するグラウンドトゥルースマスクを表示する、3D蛍光顕微鏡画像の代表的な2D中間セクション。右上の画像は、各セクションで強調表示されているインセットを拡大して表示します。 (B) U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された予測セグメンテーションマスク。上の行では真陽性(正しくセグメント化された構造)が強調表示されていますが、下の行では各モデルの偽陽性(誤って識別された構造)と偽陰性(見落とした構造)が表示されます。 (C) 精度、F1 スコア、精度、再現率、体積類似性、サイコロ係数など、各モデルの定量的評価指標。評価は、3D画像から押し出されたパッチで実行されました。エラーバーは、テスト画像全体の標準偏差を示します。スケールバー:60 μm;はめ込みスケールバー:30μm。 この図の拡大版を表示するには、ここをクリックしてください。

図5:充填チューブマスクを使用した3Dライトシート顕微鏡画像からのマウス脳の血管ネットワークのセグメンテーションのためのU-NetおよびAttention U-Netモデルの評価。 (A)マウス脳の3Dライトシート顕微鏡画像から抽出された代表的な2D中間セクションで、元の画像と対応する血管のグラウンドトゥルースマスクを示しています。選択したインセットのズームインビューは、各パネルの右上隅に表示されます。U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された予測セグメンテーションマスク。上の行は真陽性(正しくセグメント化された血管構造)を強調表示し、下の行は各モデルの偽陽性(誤ってセグメント化された領域)と偽陰性(欠落した血管構造)を示しています。(C) 精度、F1 スコア、精度、再現率、体積類似性、サイコロ係数などの指標を使用したモデルのパフォーマンスの定量的評価。評価は、テストボリュームから抽出された 3D パッチに対して実行されました。エラーバーは、19枚のテスト画像の標準偏差を表します。 この図の拡大版を表示するには、ここをクリックしてください。

ビデオ 1: BC ネットワークの予測マスクの Z スタック アニメーション。 このビデオは、U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された、マウス肝組織における胆汁小管の予測セグメンテーションマスクのzスタックを通るアニメーションシーケンスを示しています。各 2D セクションでは、各モデルの真陽性 (白)、偽陽性 (緑)、および偽陰性 (マゼンタ) が強調表示され、スタック全体を移動します。略語:BC =胆汁小管。 このビデオをダウンロードするには、ここをクリックしてください。

ビデオ 2: 正弦波ネットワークの予測マスクの Z スタック アニメーション。 このビデオは、U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された、マウス肝組織中の正弦波の予測セグメンテーションマスクのzスタックを通るアニメーションシーケンスを示しています。各 2D セクションでは、各モデルの真陽性 (白)、偽陽性 (緑)、および偽陰性 (マゼンタ) が強調表示され、スタック全体を移動します。 このビデオをダウンロードするには、ここをクリックしてください。

ビデオ 3: 充填チューブとしての正弦波ネットワークの予測マスクの Z スタック アニメーション。 このビデオは、U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された、マウス肝組織内の充填チューブとしての正弦波ネットワークの予測セグメンテーションマスクのzスタックを介したアニメーションシーケンスを示しています。各 2D セクションでは、各モデルの真陽性 (白)、偽陽性 (緑)、および偽陰性 (マゼンタ) が強調表示され、スタック全体を移動します。 このビデオをダウンロードするには、ここをクリックしてください。

ビデオ4:脳血管の予測マスクのZスタックアニメーション。 このビデオは、U-Net、Attention U-Net、およびそれらの拡張バージョンによって生成された、船舶の予測セグメンテーションマスクのzスタックを通るアニメーションシーケンスを示しています。各 2D セクションでは、各モデルの真陽性 (白)、偽陽性 (緑)、および偽陰性 (マゼンタ) が強調表示され、スタック全体を移動します。 このビデオをダウンロードするには、ここをクリックしてください。

表1:データ拡張の有無にかかわらず、胆汁小管および正弦波データセットでのU-Net 3DおよびAttention U-Net 3Dモデルのトレーニング時間。 データ拡張の有無にかかわらず、胆管および正弦波データセット上の U-Net 3D および Attention U-Net 3D モデルのトレーニング時間。この表には、各データセットのパッチ数と、対応するトレーニング時間 (分) がリストされています。データ拡張によりパッチ数が 1353 から 10824 に増加し、トレーニング時間が大幅に増加します。Attention U-Net モデルは、データ内の関連特徴に焦点を当てる際にさらに複雑であるため、特に拡張データセットでは、U-Net モデルよりも一貫して多くのトレーニング時間を必要とします。略語:BC =胆汁小管。 この表をダウンロードするには、ここをクリックしてください。

表2:画像全体のセグメンテーションを使用した4つのデータセットにわたるU-Net 3DおよびAttention U-Net 3Dモデルの定量的評価。 この表は、胆汁小管、正弦波ネットワーク(中空表現と充填表現)、全脳血管系の4つの異なるデータセットで、各モデルとOtsuや適応閾値などの古典的な手法のパフォーマンスを、評価用の全3D画像を使用して報告します。モデルとデータセットの組み合わせごとに、テスト画像の数が、パフォーマンス指標(精度、精度、再現率(感度)、特異度、F1スコア、ダイス係数、IoU、およびボリューム類似性)とともにリストされます。これらの指標は、ボクセル単位の正しさと、予測とグラウンドトゥルースの間の体積的一致の両方の観点から、セグメンテーション品質の包括的な評価を提供します。略語:BC =胆汁小管;IoU = ユニオン上の交差。 この表をダウンロードするには、ここをクリックしてください。

表3:64 x 64 x 64パッチを使用した4つのデータセットにわたるU-Net 3DおよびAttention U-Net 3Dモデルの定量的評価。 この表は、サイズ64×64×64ボクセルの3D画像パッチでの評価に基づいて、胆汁小管、正弦波ネットワーク(中空マスクと充填マスク)、および全脳血管系の4つのデータセットでのU-Net 3DおよびAttention U-Net 3Dモデルのパフォーマンスをまとめたものです。モデルとデータセットの組み合わせごとに、テストパッチの数が、主要なパフォーマンス指標(精度、精度、再現率(感度)、特異度、F1スコア、サイコロ係数、共用体に対する交差、およびボリューム類似性)とともにリストされます。これらのパッチレベルのメトリックは、モデルのパフォーマンスに関するローカライズされた洞察を提供し、ボリューム全体の空間的に異種のセグメンテーション精度を特定するのに特に役立ちます。略語:BC =胆汁小管;IoU = ユニオン上の交差。 この表をダウンロードするには、ここをクリックしてください。

補足図S1:胆管セグメンテーションのための3D U-NetおよびAttention U-Netモデルのパッチレベルのセグメンテーション性能。 グラフは、胆管データセットに対する3D U-NetおよびAttention U-Netモデルの定量的性能を示しており、サイズ64 x 64 x 64ボクセルの3D画像パッチを使用して評価されています。表示される指標には、精度、精度、再現率 (感度)、特異度、F1 スコア、サイコロ係数、交差対共用、および体積類似性が含まれます。結果はパッチ間のばらつきを反映しており、モデルのパフォーマンスに関する局所的な洞察を提供し、3D 肝臓組織体積内の空間的不均一性を強調します。略語:BC =胆汁小管;IoU = ユニオン上の交差。 このファイルをダウンロードするには、ここをクリックしてください。

補足図S2:正弦波セグメンテーションのための3D U-NetおよびAttention U-Netモデルのパッチレベルのセグメンテーション性能。 グラフは、サイズ 64 x 64 x 64 ボクセルの 3D 画像パッチを使用して評価された、正弦波データセットでの 3D U-Net モデルと Attention U-Net モデルの定量的性能を示しています。表示される指標には、精度、精度、再現率 (感度)、特異度、F1 スコア、サイコロ係数、交差対共用、および体積類似性が含まれます。結果はパッチ間のばらつきを反映しており、モデルのパフォーマンスに関する局所的な洞察を提供し、3D 肝臓組織体積内の空間的不均一性を強調します。略語: IoU = 交差点 over Union。 このファイルをダウンロードするには、ここをクリックしてください。

補足図S3:充填チューブセグメンテーションとしての正弦波の3D U-NetおよびAttention U-Netモデルのパッチレベルセグメンテーション性能。 グラフは、サイズ64 x 64 x 64ボクセルの3D画像パッチを使用して評価された、充填チューブデータセットとしての正弦波に対する3D U-NetおよびAttention U-Netモデルの定量的性能を示しています。表示される指標には、精度、精度、再現率 (感度)、特異度、F1 スコア、サイコロ係数、交差対共用、および体積類似性が含まれます。結果はパッチ間のばらつきを反映しており、モデルのパフォーマンスに関する局所的な洞察を提供し、3D 肝臓組織体積内の空間的不均一性を強調します。略語: IoU = 交差点 over Union。 このファイルをダウンロードするには、ここをクリックしてください。

補足図S4:ライトシート顕微鏡画像からの脳血管系の3D U-NetおよびAttention U-Netモデルのパッチレベルセグメンテーション性能。 グラフは、サイズ 64 x 64 x 64 ボクセルの 3D 画像パッチを使用して評価された、全脳血管系データセットにおける 3D U-Net および Attention U-Net モデルの定量的性能を示しています。表示される指標には、精度、精度、再現率 (感度)、特異度、F1 スコア、サイコロ係数、交差対共用、および体積類似性が含まれます。結果はパッチ間のばらつきを反映しており、モデルのパフォーマンスに関する局所的な洞察を提供し、3D 肝臓組織体積内の空間的不均一性を強調します。略語: IoU = 交差点 over Union。 このファイルをダウンロードするには、ここをクリックしてください。

補足図S5:胆管の元の3D蛍光顕微鏡画像上のセグメンテーション結果のオーバーレイ。 マウス肝臓の胆汁小管の3D蛍光顕微鏡データセットからの代表的な画像スライスは、セグメンテーションマスクを赤で重ねて示しています。3D U-NetおよびAttention U-Netモデルから予測されたマスクを元のグレースケール顕微鏡画像に重ねて、セグメンテーションの精度を視覚的に評価します。多様な形態学的特徴を捉え、さまざまな組織領域にわたるシグナルの変動を処理するモデルの能力を示すために、10 枚の画像例が提示されています。 このファイルをダウンロードするには、ここをクリックしてください。

Discussion

このプロトコルは、3D 蛍光顕微鏡画像内の管状構造を深層学習ベースでセグメンテーションするためのシンプルかつ強力でアクセスしやすいアプローチを提供し、バイオ画像解析における技術的な複雑さと使いやすさの間のギャップを埋めます。シミュレーションベースのデータ拡張、インタラクティブなJupyterノートブック、効率的なU-Netアーキテクチャを統合することで、胆管や正弦波ネットワークなどの複雑な組織構造に対して高精度なセグメンテーションを実行できるオープンソースツールを提供します。このツールボックスは、3D セグメンテーション タスクにおける主要な課題、特にデータの不足とイメージング条件の変動性の処理における課題に対処し、バイオ画像解析環境への多用途の追加機能となっています。

私たちのプロトコルの重要なコンポーネントは、シミュレーションベースのデータ拡張であり、生物学的研究では一般的な制限である注釈付き画像の数が限られている場合でもモデルのパフォーマンスを向上させます。このツールボックスは、点拡散関数の畳み込み、軸方向の強度減衰、ポアソン ノイズとガウス ノイズなどのリアルなイメージング アーティファクトを模倣する拡張データを生成することで、さまざまなイメージング条件にわたって堅牢なモデルを生成します。このアプローチは、データの多様性を効果的に高め、モデルの一般化可能性を向上させ、生体標本に存在する不均一性を完全には捉えられない可能性のある従来のデータ拡張技術に比べて重要な利点を提供します。ただし、これは、最初に提供されたマスクに本質的にコード化された形態学的特徴によって制限されます。初期トレーニングデータ生成に事前にセグメント化されたマスクに依存すると、マスクが問題の生物学的構造を完全に代表していない場合、潜在的なバイアスが生じます。したがって、形態学的空間で現実的なデータ拡張を生成する方法についてはまだ未解決の問題があり、これは疾患の進行などの変化を伴う組織を研究するために潜在的に重要になる可能性があります。

私たちの手法では、生物医学イメージングタスクで高いパフォーマンスを発揮するために選択された3D U-NetとAttention U-Netの2つのエンコーダー/デコーダーモデルを使用しています。3D U-Net は単純かつ強力なセグメンテーション アーキテクチャを提供しますが、Attention U-Net は関連する特徴に選択的に焦点を当て、ノイズを抑制することで精度を向上させます。どちらのモデルもツールボックスに含まれており、ユーザーは特定のデータセット要件に基づいて選択できます。私たちの結果は、Attention U-Net モデルがデータセット全体でより高いパフォーマンス指標を達成していることを示しており、特に正弦波ネットワークなどの困難な構造では、アテンション メカニズムの複雑さが加わることで、信号対雑音比の低さや構造変動の影響を軽減するのに役立ちます。ただし、Attention U-Net の計算要求は高く、GPU リソースが限られているユーザーにとってのアクセシビリティに影響を与える可能性があることに注意することが重要です。さらに、パイプラインのオープンソースの性質を考慮すると、必要に応じて、将来の研究のために他のより複雑なアーキテクチャを簡単に追加できます。

当社のプロトコルは、3D セグメンテーションに不可欠なステップを 1 つのセットアップに統合した、オールインワンのユーザーフレンドリーなパイプラインを提供します。この合理化された設計は、プログラミングやパラメータ調整の専門知識を要求することなく、高度なセグメンテーション ツールへのアクセスを簡素化するため、重要な利点です。さらに、当社のシミュレーションベースのデータ拡張戦略は、モデルの堅牢性を強化し、広範な手動注釈への依存を減らし、さまざまなイメージング条件にわたるモデルの一般化可能性を向上させます。慎重な微調整を必要とする閾値または領域成長アルゴリズムに依存することが多い古典的なセグメンテーション手法とは対照的に^28,29、当社の深層学習アプローチでは、手動介入は最小限で済みます。これは、複雑な 3D 構造の高品質で再現性のあるセグメンテーションの民主化に貢献し、豊富な計算経験を持たない研究者を含む、より幅広い研究者が利用できるようになります。

管状ネットワークを超えて、プロトコルの柔軟性により、他の生物学的構造をセグメント化するための適応が容易になります。将来の機能強化には、自己教師あり学習³⁰または転移学習³¹の統合が含まれ、これにより、高いセグメンテーション精度を維持しながら、注釈付きデータの必要性がさらに減少する。これらの戦略は、多光子顕微鏡やライトシート顕微鏡などの多様なイメージングモダリティへの適用可能性を拡張することもできます。

その長所にもかかわらず、このプロトコルには認識すべきいくつかの制限があります。まず、データセットのサイズは比較的小さく、構造ごとに少数の注釈付きボリュームのみで構成されています。データ拡張によりこの問題は部分的に軽減されますが、特にサンプルの調製やイメージング条件に目に見えない変動があるデータセットに微調整されたモデルを適用する場合、過剰適合のリスクは依然として存在します。第二に、私たちの結果は、異なるパッチや動物間で良好な一般化を示していますが、異なる構造的およびノイズ特性を示す可能性のある他の臓器または顕微鏡モダリティからのデータセットでツールボックスをまだテストしていません。これにより、私たちのアプローチの即時の一般化可能性が制限されます。最後に、私たちの評価戦略は、パッチレベルでは堅牢ですが、ネットワークのような構造に関連するトポロジカルの一貫性に関する追加の指標から恩恵を受ける可能性があります。将来の研究では、データセットを拡張し、ドメイン適応技術³²を組み込み、より広範な生物学的文脈にわたってパイプラインを評価することにより、これらの制限に対処します。

要約すると、このプロトコルは、バイオイメージングにおける管状構造の高品質の 3D セグメンテーションのためのアクセスしやすく包括的なソリューションを表しています。効果的なモデル アーキテクチャ、データ拡張戦略、インタラクティブでユーザーフレンドリーなインターフェイスを組み合わせることで、当社のツールボックスは、バイオ画像解析における深層学習の範囲と影響を拡大し、世界中の研究者がこれらの技術を活用して生物学的構造と機能のより深い理解を追求できるようにします。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
フィジー			https://imagej.net/software/fiji/downloads
GitHubリポジトリ			https://github.com/hernanmorales-navarrete/3DMicroscopyImage セグメンテーション/ツリー/メイン
ラボキット			https://imagej.net/plugins/labkit/
Zenodoリポジトリ			10.5281/zenodo.14029574