深層学習に基づくクライオ電子線トモグラムのセグメンテーション
2022年11月11日
これは、1つのトモグラムの一部をトレーニング入力として使用して、クライオ電子線トモグラムの多クラスセグメンテーションのためのマルチスライスU-Netをトレーニングする方法です。このネットワークを他のトモグラムに推測する方法と、サブトモグラムの平均化やフィラメントトレースなどのさらなる分析のためにセグメンテーションを抽出する方法について説明します。
私たちのプロトコルで最もエキサイティングなのは、大量のクライオETデータをセグメント化するために、これらのディープラーニングプロトコルを使用してラボを立ち上げて実行できることです。私たちのワークフローの主な利点は、Dragonflyがセグメンテーションのためにマルチクラスニューラルネットワークをトレーニングするためのプロフェッショナルグレードの計算環境を提供し、セグメンテーションプロセスを劇的にスピードアップできることです。画像のセグメンテーションは学習に時間がかかるため、ツールをテストし、時間の経過とともにワークフローを合理化するのに役立つキーバインドを学習してください。
ソフトウェアを設定したら、[ファイル]に移動し、[画像ファイルのインポート]を選択して、画像のインポートを続行します。次に、[追加] をクリックし、イメージ ファイルに移動して [開く] をクリックし、[次へ]、[完了] の順に選択します。カスタム強度スケールを作成するには、[ユーティリティ]に移動し、[寸法単位マネージャー]を選択します。
左下のプラス記号をクリックして、新しい寸法単位を作成します。対象のすべての断層画像で高強度および低強度の特徴を選択します。単位に名前と略語を付け、カスタム寸法単位を保存します。
画像をカスタム強度スケールに調整するには、画面の右側にある[プロパティ]列のデータセットを右クリックし、[強度スケールの調整]を選択します。次に、画面の左側にあるメインタブに移動し、プローブセクションまで下にスクロールします。適切な直径の円形プローブツールを使用して、断層撮影の背景領域の数か所をクリックし、生の強度列に平均数を記録します。
指標マーカーに対して繰り返し、[キャリブレーション] をクリックします。必要に応じて、コントラストを調整して、メインタブのウィンドウレベリングセクションにある領域ツールを使用して構造を再び表示します。メインタブの左側で、画像処理パネルまで下にスクロールします。
[詳細設定]をクリックして、新しいウィンドウが開くのを待ちます。「プロパティー」パネルから、フィルターに掛けるデータ・セットを選択し、データ・セットの左側にある目のアイコンをクリックして表示します。次に、操作パネルのドロップダウンメニューを使用して、最初の操作のヒストグラム均等化を選択します。
[操作の追加] を選択し、[ガウス分布] をクリックして、カーネル ディメンションを 3D に変更します。3番目の操作を追加し、[アンシャープ]を選択して、この操作の出力を残します。すべてのスライスにイコライゼーションを適用し、フィルタリングを実行してから、画像処理ウィンドウを閉じてメインインターフェイスに戻ります。
トレーニングエリアを特定するには、まず、フィルタリングされていないデータセットの左側にある目のアイコンをクリックして非表示にして、データプロパティパネルに移動します。次に、新しくフィルター処理されたデータセットを表示します。フィルタリングされたデータセットを使用して、関心のあるすべての特徴を含むトモグラムのサブ領域を特定します。
次に、[図形] カテゴリまで下にスクロールし、メイン タブの左側にある [ボックスの作成] を選択して、対象領域の周囲にボックスを作成します。4 ビュー パネルで、異なる 2D 平面を使用して、ボックスの端をガイドまたはドラッグして、すべての寸法の関心領域のみを囲みます。データ リストでボックス領域を選択し、目のシンボルの横にある灰色の四角形をクリックして、見やすくするために境界線の色を変更します。
マルチROIを作成するには、[セグメンテーション]タブを選択し、左側の[新規]をクリックして、[マルチROIとして作成]をオンにします。クラスの数が、対象のフィーチャの数と背景クラスに対応していることを確認します。マルチROIトレーニングデータに名前を付け、ジオメトリがデータセットに対応していることを確認してから、[OK]をクリックします。次に、ボックス化された領域の境界内になるまでデータをスクロールします。
右側の [プロパティ] メニューで [マルチ ROI] を選択します。マルチROIの最初の空白のクラス名をダブルクリックして名前を付けます。2Dブラシでペイントするには、左側の[セグメンテーション]タブの[2Dツール]まで下にスクロールし、円形のブラシを選択します。
次に、ドロップダウンメニューから[アダプティブガウス]または[ローカルOTSU]を選択し、左コントロールキーを押しながらクリックしてペイントし、左シフトキーを押しながらクリックすると消去します。すべての構造物にラベルを付けたら、マルチROIの背景クラスを右クリックし、[ラベル付けされていないすべてのボクセルをクラスに追加]を選択します。次に、マスクという名前の新しい単一クラス ROI を作成します。
ジオメトリがフィルタリングされたデータ セットに設定されていることを確認し、[適用] をクリックします。右側の [プロパティ] タブで、ボックスを右クリックし、[ROI に追加] を選択して、マスク ROI に追加します。マスクを使用してトレーニングデータをトリミングするには、[プロパティ]タブに移動し、コントロールキーを押しながらそれぞれをクリックして、トレーニングデータ、マルチROI、マスクROIの両方を選択します。
次に、[ブール演算] セクションのデータ プロパティ リストの下にある [交差] をクリックします。新しいデータセットにトリミングされたトレーニング入力という名前を付け、ジオメトリがフィルター処理されたデータセットに対応していることを確認してから、[OK] をクリックします。トレーニング データをセグメンテーション ウィザードにインポートするには、[プロパティ] タブでフィルター処理されたデータセットを右クリックし、[セグメンテーション ウィザード] オプションを選択します。新しいウィンドウが開いたら、右側の[入力]タブを探します。
マルチROIからフレームをインポートをクリックし、トリミングされたトレーニング入力を選択します。新しいニューラル ネットワーク モデルを生成するには、モデルのタブの右側にあるプラス ボタンをクリックします。 リストから U Net を選択し、入力ディメンションとして 2.5 D と 5 つのスライスを選択して、[生成] をクリックします。
ネットワークをトレーニングするには、[Seg Wiz] ウィンドウの右下にある [トレーニング] をクリックします。ユニットトレーニングが完了したら、トレーニングされたネットワークを使用して新しいフレームをセグメント化し、新しいフレームを作成して、[予測]をクリックします。次に、予測フレームの右上にある上矢印をクリックして、セグメンテーションを実際のフレームに転送します。
予測を修正するには、Control キーを押しながら 2 つのクラスをクリックして、一方のセグメント化されたピクセルを他方に変更します。両方のクラスを選択し、ブラシでペイントして、いずれかのクラスに属するピクセルのみをペイントします。少なくとも 5 つの新しいフレームのセグメンテーションを修正します。
反復トレーニングの場合は、[トレーニング] ボタンをもう一度クリックし、ネットワークがさらに 30 から 40 のエピックについてさらにトレーニングできるようにします。この時点で、トレーニングを停止し、別のトレーニングを開始します。ネットワークのパフォーマンスに満足したら、セグメンテーション ウィザードを終了してネットワークを公開します。
公開するモデルを尋ねるダイアログボックスがポップアップ表示されます。成功したネットワークを選択して名前を付け、公開して、セグメント化ウィザードの外部でネットワークを使用できるようにします。まず、トレーニング断層図に適用するプロパティパネルでフィルタリングされたデータセットを選択します。
左側の [セグメンテーション] パネルで、[AI を使用するセグメント] セクションまで下にスクロールします。正しいデータ・セットが選択されていることを確認してください。ドロップダウンメニューで最近公開したモデルを選択し、[セグメント]、[すべてのスライス]の順にクリックします。
推論データセットに適用するには、新しいトモグラムをインポートし、前に示したように前処理します。セグメンテーションパネルで、[AIのあるセグメント]セクションに移動します。新しくフィルタリングされたトモグラムが選択されたデータセットであることを確認し、以前にトレーニングしたモデルを選択し、セグメントをクリックして、[すべてのスライス]を選択します。
最初に、セグメント化されたノイズと対象フィーチャを持つクラスの 1 つを選択して、ノイズをすばやくクリーンアップします。次に、[アイランドの処理] を右クリックし、[ボクセル数で削除] を選択して、[ボクセル サイズの選択] をクリックします。小さなカウントから始めて、徐々にカウントを増やしてほとんどのノイズを取り除きます。
セグメンテーション補正を行うには、Control キーを押しながら 2 つのクラスをクリックして、それらのクラスのみに属するピクセルをペイントします。Controlキーを押しながらクリックし、セグメンテーションツールでドラッグして2番目のクラスのピクセルを最初のクラスに変更し、Shiftキーを押しながらクリックしてドラッグすると、その逆になります。5スライスユニットを1つの断層撮影でトレーニングし、トレーニング入力のためにハンドセグメンテーションを実行しました。
完全なトレーニング後のユニットからの2Dセグメンテーションが表示されます。セグメント化された領域の3Dレンダリングは、膜、微小管、およびアクチンフィラメントを示しています。トレーニング断層撮影と同じセッションからのDIV5海馬ラットニューロンが示されている。
クイッククリーンアップの追加トレーニングなしでユニットからの2Dセグメンテーションは、膜、微小管、アクチン、および基準を表示しました。セグメント化された領域の3Dレンダリングも視覚化されました。以前のセッションからのDIV 5海馬ラットニューロンも観察された。
クイッククリーンアップと3Dレンダリングを備えたユニットからの2Dセグメンテーションも実行されました。DIV 5海馬ラットニューロンも、異なる倍率で異なるタイタンクリオス上で観察された。IMODプログラムのスクイーズボールトでピクセルサイズがトレーニングトモグラムに一致するように変更されました。
クイッククリーンアップを備えたユニットからの2Dセグメンテーションは、適切な前処理によりデータセット間で堅牢な推論を示し、セグメンテーションの3Dレンダリングが実行されました。データを同じように前処理し、ヒストグラムを調整することは、適切なネットワーク推論のための最も重要なステップです。トモグラム内で分子の位置がわかれば、トンボ内で定量的測定値を計算したり、座標を計算してサブトモグラム平均化パイプラインに供給したりするのは本当に簡単です。
クライオET画像分析に対するディープラーニングの効果は見られ始めたばかりですが、これは本当に大きな可能性を示しているもう1つの領域にすぎません。
概要
この研究は、クライオ電子トモグラムの多クラス分割を行うためにマルチスライスU-Netニューラルネットワークをトレーニングするための詳細なプロトコルを提示します。この方法では、1つのトモグラムの一部をトレーニング入力として使用し、サブトモグラム平均化やフィラメントトレーシングなどの後続の分析のために新しいトモグラムの分割を可能にします。
主要な研究構成要素
研究分野
- 生物学的イメージングにおけるディープラーニング手法
- クライオ電子トモグラフィーデータの分割
- 生物学的分析のための計算技術
背景
- 従来の画像分割技術は時間がかかる可能性があります。
- 高度な計算ツールは効率的なデータ分析を促進します。
- ディープラーニングは分割タスクのための改善された機能を提供します。
使用された方法
- ニューラルネットワークトレーニングのためのマルチスライスU-Net
- 生物学的システムとしてのクライオ電子トモグラム
- 画像のインポートと処理のためのDragonflyソフトウェア
主な結果
- トレーニングされたネットワークを使用してクライオETデータの成功的な分割
- 画像処理と分析のための効率化されたワークフロー
- 新しいデータに適応するニューラルネットワークの効果的なトレーニング
結論
- この研究は、クライオETデータ分析にディープラーニングを活用する実用的なアプローチを実証しています。
- この方法は、複雑なイメージングデータを含む生物学的研究の効率性を向上させます。
よくある質問
Executive Industry Relevance
Automated deep learning-based segmentation of cryo-electron tomograms addresses a critical bottleneck in structural biology and cell imaging, enabling high-throughput, quantitative analysis of complex cellular architectures. This workflow enhances predictive confidence in early discovery by providing robust, reproducible segmentation across multiple structures and datasets. Accelerated segmentation supports rapid hypothesis testing and data-driven decision-making at key inflection points in the discovery pipeline.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables rapid interrogation of cellular ultrastructure for mechanistic de-risking.
- Supports functional target validation by segmenting multiple subcellular features simultaneously.
- Facilitates portfolio triage by providing quantitative, reproducible structural data.
Screening & Assay Development
- Prepares validated, segmented tomograms for downstream image-based screening workflows.
- Standardizes segmentation outputs, improving reproducibility and scalability across projects.
- Enables reliable extraction of coordinates for subtomogram averaging and filament tracing.
Translational & Preclinical Research
- Aligns high-resolution structural data with disease-relevant cellular models when applicable.
- Supports continuity from discovery imaging to preclinical validation by enabling robust data integration.
- Reduces risk in translational research by providing quantitative, multi-structure segmentation outputs.
Pipeline & Workflow Integration
This segmentation workflow integrates from early discovery through lead identification, supporting both hypothesis-driven and data-driven research strategies.
- Discovery Biology: Accelerates hypothesis testing and pathway clarification by enabling rapid, multi-class segmentation of tomograms.
- Screening: Delivers standardized, quantitative segmentation outputs suitable for high-content screening and downstream analytics.
- Analytics: Provides robust measurements and coordinates for comparative analysis and subtomogram averaging.
- Translational Research: Facilitates integration of structural data into disease-relevant models when supported by the dataset.
- Enterprise Reuse: Offers a scalable, reusable segmentation capability adaptable to diverse cryo-ET datasets.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in structural biology workflows.
- Operational Value: Dramatically reduces segmentation time from days to under 30 minutes per tomogram.
- Strategic Value: Enables faster go/no-go decisions and improves capital efficiency by streamlining data analysis.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of structurally validated targets.
Implementation Considerations
- Requires expertise in cryo-ET imaging and familiarity with deep learning segmentation tools.
- Needs access to computational infrastructure and Dragonfly software for neural network training and inference.
- Demands standardized preprocessing and calibration across datasets for robust model inference.
- Adaptation may be needed for different cell types or imaging conditions.
- Segmentation accuracy depends on quality of training data and preprocessing consistency.
Biopharma FAQs
Chapters in this video
0:05
Introduction
0:45
Image Import and Preprocessing
2:45
Creating Training Data
5:13
Using the Segmentation Wizard for Iterative Training
6:52
Apply the Network
7:36
Segmentation Manipulation and Cleanup
8:16
Results: Analysis of the Tomogram of DIV 5 Hippocampal Rat Neuron
9:40
Conclusion
