ここでは、広視野顕微鏡画像内の個々のワームを自動セグメンテーションするために開発した深層学習システムであるSegElegansを、その後ImageJなどの画像解析ソフトウェアで使用するために効果的に活用する方法を説明します。オンラインとオフラインの両方でシステムの利用方法を提供します。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
ここでは、広視野顕微鏡画像内の個々のワームを自動セグメンテーションするために開発した深層学習システムであるSegElegansを、その後ImageJなどの画像解析ソフトウェアで使用するために効果的に活用する方法を説明します。オンラインとオフラインの両方でシステムの利用方法を提供します。
顕微鏡、特に蛍光種類の顕微鏡は、 線虫 の研究で頻繁に使用されるツールです。ただし、顕微鏡実験からのデータの分析は非常に面倒で時間がかかる場合があります。したがって、自動化が望ましいです。私たちは、多数の個体が接触したり重なったりする画像であっても、ワームの自動セグメンテーションのために特別に設計された、2頭のU-netベースの畳み込みニューラルネットワークシステムであるSegElegansを開発しました。SegElegans の最初の部分は、1 つのエンコーダーと 2 つのデコーダーで構成されています。SmaAt ATモデルに基づくエンコーダーは、2つの畳み込み層とそれに続く畳み込みブロックアテンションモジュール(CBAM)を適用します。どちらのデコーダーも畳み込みLSTMを使用し、1つはワーム画像(本体、エッジ、背景、またはオーバーラップ)のセマンティックセグメンテーションを実行し、もう1つは各ワームに沿って線形スケルトンを抽出します。2 番目の部分は、2 つのデコーダーの出力を組み合わせ、それらを使用して正確なインスタンス セグメンテーションを生成する後処理アルゴリズムです。これらのセグメンテーションは、ImageJまたはその他の適切な画像解析ツールに供給できます。ここでは、このシステムにアクセスして実行する方法について説明します。オンラインのクラウドコンピューティングベースの実装と、必要なハードウェアが利用可能な場合、ローカルマシンでSegElegansモデルをオフラインで使用する2つの方法を提供します。
Caenorhabditis elegansは、細胞生物学および分子生物学の分野で広く使用されている真核生物のモデル生物です1,2,3。これは、ライフサイクルが速く(~3週間)、多数の子孫(通常、自家受精雌雄同体の親と遺伝的に同一)を持つ小型(野生型成虫の場合は~1 mm)土壌生活線虫です。その比較的単純さにもかかわらず、動物は依然として明確で明確な組織と器官を持つ複雑な多細胞生物であり、その小さなサイズと透明性のおかげで、固定やその他の侵襲的治療を必要とせずにin vivoで研究することができます4。顕微鏡によるin vivo研究のためのワームの能力は、個々の細胞の容易な区別、またはミトコンドリア、脂質滴、またはタンパク質凝集体などの細胞内細胞小器官/成分の直接視覚化、およびシグナル伝達、遺伝子発現、小胞融合などのプロセスの直接視覚化を可能にする蛍光レポーターの使用によってさらに増幅することができます。 オートファジー、ニューロンおよび筋肉の活動電位など5,6,7,8,9,10,11。さらに、線虫は、突然変異誘発による遺伝子操作12、マイクロインジェクションまたは微粒子衝撃による導入遺伝子13、CRISPR編集14、そして最も重要なことに、簡単で費用対効果の高い遺伝子スクリーニングに関しては、RNAi15にも非常に適しています。この操作により、遺伝子と線虫自体におけるそれらの役割の広範な研究が可能になると同時に、C.エレガンスが他のモデル生物に示す重要な遺伝的相同性のおかげで、人間にまで関連する基礎的な発見が行われました16,17。最後に、この相同性/保存により、ワームは薬物および化学薬品の理想的な初期試験場となり、薬物活性のメカニズムの解明、潜在的な活性修飾遺伝的変異の同定、および潜在的な望ましくない相互作用およびオフターゲット効果の発見を可能にします18,19,20。
上記のすべての利点により、 C.エレガンス 細胞生物学および分子生物学研究、特に顕微鏡によるプロセスの生体内および多くの場合リアルタイムのモニタリングに関心のある科学者にとって、魅力的なモデルとなっています。このような研究には通常、特別なソフトウェアによる大量の画像分析が含まれ、最も広く使用されているオプションはImageJ 21,22,23です。このようなソフトウェアによる分析に共通する特徴は、ユーザー/研究者が選択ツールを使用して分析する関心領域 (ROI) を指定する必要があることです。非常に頻繁に、画像内の個々のワームは、単純な形態学的特徴(体の寸法など)または遺伝子の発現レベル(蛍光レポーターで測定)、レシオメトリックレポーターの読み出し、脂質滴の数とサイズ、 タンパク質凝集体の形成、個々の細胞小器官とそのネットワークの形態など5,8,10,24,25,26,27。標準的な画像処理アルゴリズムに基づく自動選択方法は、特にワームの輪郭がはっきりと見えない暗視野画像や、接触して重なり合う多数の動物を含む明視野画像では、通常、ワームの形状や特徴を区別するのに十分な能力がないため、これらのワームごとの選択は通常手動で行われます。ただし、手動プロセスは遅く(必要な精度とユーザーの経験に応じて、ワームあたり20秒から1分)、手間がかかり、ユーザーのバイアスやエラーの影響を受けます。
個々のC.エレガンスのROIを生成するための代替のはるかに強力なアプローチ(コンピュータービジョンの分野では通常セグメンテーションと呼ばれるタスク)は、ディープラーニング/ニューラルネットワーク技術の助けを借りてそれを自動化することです。主にマスクR-CNN28およびU-netアーキテクチャ29に基づく畳み込みニューラルネットワークは、C.エレガンス33、34、35、36、37、38、39を含む様々な生物学的モデルシステム30、31、32のセグメンテーションタスクでまともな結果を生み出しているしかし、多数の接触または完全に重なり合うワームを含む高解像度画像で個々の動物を正しく区別する全身セグメンテーション(インスタンスセグメンテーション)を生成するという問題に対する満足のいく解決策を提供したものはありません。このニーズを満たすために、このタスク40のために特別に設計および最適化された深層学習モデルであるSegElegansを開発しました。
SegElegans は、大きく分けて 2 つの部分で構成されています (図 1)。最初の部分は、2 頭の U-net バリアント畳み込みニューラル ネットワークです。これは、1 つのエンコーダ ブロックと 2 つのデコーダ ブロックで構成されています。エンコーダブロックは、SmaAt ATモデル41 に基づいており、畳み込みブロックアテンションモジュール(CBAM)42に供給される各層に二重畳み込みブロックを使用する。2つのデコーダブロックは、畳み込み長短期記憶(LSTM)ネットワーク43に基づいています。1 つのデコーダーは、画像の各ピクセルを、ワームの本体の一部、ワームのエッジの一部、背景の一部、またはワームが重なる領域の一部として分類する役割を果たします (これは通常、セマンティック セグメンテーションと呼ばれます)。もう一方のデコーダーは、各ワームの長さに沿って線形の「スケルトン」を描画する役割を果たします。2 番目の部分は、2 つのデコーダーの出力を組み合わせ、それらを使用して正確なインスタンス セグメンテーションを生成する後処理アルゴリズムです。最初に、セマンティックセグメンテーション出力とスケルトンセグメンテーション出力を比較することにより、真のオーバーラップのセグメントを識別します。次に、オーバーラップのないワームのインスタンスセグメンテーションを直接出力するか、オーバーラップするワームのセグメントから組み立てることによって出力します40。これらのセグメンテーションは、バイナリマスクとImageJ互換のROIとして保存されます。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
次のセクションには、SegElegansを効果的に使用する方法に関する詳細な手順が含まれています(図2)。これには、準備画像取得(セクション1)、モデルをオンライン(セクション2)またはオフラインで実行する方法(セクション3-5)、およびImageJまたはその他のツールへのROIのインポート(セクション6)に関する手順が含まれます。モデルによる画像の評価には、少なくとも6GB(理想的にはそれ以上)のビデオランダムアクセスメモリ(VRAM)を搭載したCUDA互換のグラフィックスプロセッシングユニット(GPU)を搭載したPCが必要なため、ほとんどのユーザー(Googleのサービスにアクセスできる場合)は、クラウドコンピューティングを通じてこれらのハードウェア要件を満たし、それを超えるモデルのオンラインバージョンを利用することをお勧めします(セクション1>セクション2>セクション6)。あるいは、適切に強力なハードウェアにアクセスでき、コマンドライン/端末の使用に関する基本的な理解があるユーザー(または前述のクラウドコンピューティングオプションにアクセスできないユーザー)は、モデルをローカルで実行する方が便利であると感じるかもしれません(セクション1>セクション3>セクション4または5>セクション6)。
1. サンプル画像とガイド画像の取得
2. SegElegans のオンライン版を実行する
) ボタンを押して、コード ブロック 1 を実行します。実行時にコードを実行し、実行終了後に出力を観察する権限をランタイムに付与します (再生ボタンの横に緑色のチェックマークが表示されます)。Colab は、CUDA 互換の正しいランタイムを自動的に実行し、NVIDIA-SMI 出力テーブルを表示します。それ以外の場合は、[ ランタイム] > [ランタイムの種類の変更 ] メニューを使用して T4 GPU ランタイムの使用を強制します。3. 初回使用前にSegElegansのオフライン版を準備する
4. クイックスクリプトでSegElegansのオフラインバージョンを実行する
5. Jupyter ノートブックで SegElegans のオフライン バージョンを実行する
)ボタンを押して実行します。実行が完了すると、コードブロックの下に確認メッセージが表示されます。6. セグメンテーションをImageJ(または代替)にインポートする
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
このプロトコルに従うことで、研究者は、目に見えるワームの境界のない蛍光画像の分析でも、高品質のワームセグメンテーションを抽出できるはずです。プロトコルのセクション6で説明したように、これらのセグメンテーションはImageJに直接インポートし、蛍光レポーターの強度(発現定量に一般的に使用される)や蛍光タグ付き領域の数、サイズ、形態(タンパク質凝集体または細胞小器官の研究に頻繁に使用される)などの関連特性の迅速な測定に使用できます。さらに、SegElegansは、蛍光に依存しない方法で明視野画像からセグメンテーションを取得するように設計されているため、強度比の測定(たとえば、特定の細胞小器官のオートファジー分解を定量化するため)や共局在指標(細胞小器官間の相互作用を特定しようとする場合など)を含むマルチチャネル分析も支援できます。
SegElegansは、93%以上のセグメンテーションIoU(Intersection over Union)スコア(表1)を達成し、
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
ここで紹介する方法論により、ユーザーは精度を損なうことなく、大幅に速い時間枠でC.エレガンス顕微鏡実験を分析できるはずです。実際の蛍光とは無関係に明視野ガイド画像からセグメンテーションを抽出するため(プロトコルセクション1で説明されているように)、ワームごとに表現型を測定する必要があるあらゆる株およびアプリケーションに使用できます。これらには、疾患モデル10における異常なタンパク質封入体の形成の定量化(図2に示す例のように)、転写レポーター26の活性、または脂質液滴のサイズおよび数44などの単一チャネルアプリケーションが含まれ得る。また、レシオメトリックセンサー27による過酸化水素レベルの測定、細胞小器官およびタンパク質の共局在化の評価11、高分子修飾の検出...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
著者には宣言すべき利益相反はありません。
著者の研究室での作業は、事務局によって資金提供されています。
ギリシャ開発省の研究とイノベーション、
欧州連合 - NextGenerationEU (プロジェクトコード: TAEDR-0535850、頭字語:
BrainPrecision)アクションの枠組みの中で「フラッグシップアクション
関連性に特に関心のある学際的な科学分野
生産的な構造に」を掲載しています。
計画「ギリシャ2.0」、欧州委員会研究執行機関
エクセレンスハブ「CHAngeing」(GA-101087071)とギリシャ財団
研究イノベーション(H.F.R.I.)の「第1回H.F.R.I.募集」
教員・研究者を支援する研究プロジェクト
高コスト研究機器の調達」(プロジェクト番号:
HFRI-FM17C3-0869、ニューロマイトファジー)。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| インターネット接続可能なコンピュータ(例:Dell Vostro Desktop) | いくつか(例えばDellなど) | - | これにより、推奨されているクラウドコンピューティング経由でオンライン上でSegElegansを運用し、ImageJなどの画像解析ソフトウェアを使用できるようになります。 |
| CUDA互換グラフィックス処理ユニット(CVP)で、少なくとも6GBのVRAM(例:MSI Geforce RTX RTX3050 Ventus 2X 6GB)(オプション) | NVIDIA + 複数のメーカー(例えばMicro Star International) | https://developer.nvidia.com/cuda-gpus | これにより、ローカルマシン上でSegElegansをオフラインで実行できるようになります。 CUDA対応GPUチップセットはこちらで入手可能です: https://developer.nvidia.com/cuda-gpus VRAMは、メーカーがチップセットをGPUに実際に実装するかどうかに依存します。 警告:クラウドコンピューティング版の性能に匹敵するには、最低要件(16+ GB VRAM)を大幅に超える高価で高性能なCUDAカードが必要です。 |
| エピ蛍光顕微鏡(Invitrogen EVOS FL Auto 2) | サーモフィッシャー・サイエンティフィック | AMAFD2000 例えば | 明るい視野と1つ以上の蛍光チャネルからほぼ同時に画像を自動的に取得できるシステムの使用を推奨します。 |
| ImageJ(任意) | NIH | https://imagej.net/software/fiji/downloads | フィジー版の配布をおすすめします。こちらで入手可能です: https://imagej.net/software/fiji/downloads |
| NVIDIA GPU対応のPC(例:Dell Vostro Desktop)(オプション) | いくつか(例えばDellなど) | - | これは、ローカルマシン上でオフラインでSegElegansを動かすためにGPUと連携して必要です。 GPUは、マザーボードに適切なPCIスロットを備えたWindows互換ハードウェア、カードを収めるスペース、十分なパワーサプライが必要です。 |
| セゲレガン | - | https://github.com/KonstantinosKounakis/SegElegansOnline/tree/v1.0 | 詳細は原稿を参照してください。nbsp; |
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。