Summary
この記事では、固定細胞の蛍光顕微鏡画像でミトコンドリアの形態を分析するために、シミュレーション教師あり機械学習を使用する方法について説明します。
Abstract
細胞蛍光顕微鏡画像におけるミトコンドリアなどの細胞内オルガネラの定量的分析は、これらの小さく形態学的に多様な構造のセグメンテーションに固有の課題があるため、困難な作業です。本稿では、固定細胞の蛍光顕微鏡画像におけるミトコンドリア形態の定量化のための機械学習支援セグメンテーションおよび分析パイプラインの使用を示します。ディープラーニングベースのセグメンテーションツールは、シミュレートされた画像でトレーニングされ、教師ありディープラーニングのグラウンドトゥルースアノテーションの必要性を排除します。蛍光ミトコンドリアマーカーを安定発現させた固定心筋芽細胞の蛍光顕微鏡画像に対するこのツールの有用性を実証し、特定の細胞培養条件を使用してミトコンドリアの形態変化を誘導します。
Introduction
本論文では、蛍光ミトコンドリアマーカーを発現する固定心筋芽細胞の蛍光顕微鏡画像における細胞内セグメンテーション1 のための物理ベースの機械学習ツールの有用性を実証します。
ミトコンドリアは、哺乳類細胞の主要なエネルギー産生細胞小器官です。具体的には、ミトコンドリアは非常に動的な細胞小器官であり、長さと分岐が絶えず変化しているネットワークによく見られます。ミトコンドリアの形状はその機能に影響を与え、細胞は環境の変化に適応するためにミトコンドリアの形態を素早く変化させることができます2。この現象を理解するために、ミトコンドリアをドット、ロッド、またはネットワークとして形態学的に分類することは非常に有益です3。
ミトコンドリアのセグメンテーションは、細胞内のミトコンドリア形態の解析に不可欠です。ミトコンドリアの蛍光顕微鏡画像をセグメント化および分析する現在の方法は、手動セグメンテーションまたは従来の画像処理アプローチに依存しています。大津4 のような閾値ベースのアプローチは、顕微鏡画像のノイズレベルが高いため、精度が低くなります。通常、ミトコンドリアの形態学的解析用の画像は多数のミトコンドリアを特徴としているため、手動のセグメンテーションは面倒です。MorphoLibJ5 のような数学的アプローチやWeka6 のような半教師あり機械学習アプローチは非常に要求が厳しく、専門知識が必要です。ミトコンドリア7 の画像解析技術のレビューは、深層学習ベースの技術がこのタスクに役立つ可能性があることを示しました。実際、自動運転などのアプリケーション向けの日常生活画像の画像セグメンテーションは、ディープラーニングベースのモデルの使用によって革命を起こしました。
ディープラーニングは、大量のデータから学習するアルゴリズムを提供する機械学習のサブセットです。教師ありディープラーニングアルゴリズムは、グラウンドトゥルース(GT)ラベルで注釈が付けられた大量の画像セットから関係を学習します。蛍光顕微鏡画像でミトコンドリアをセグメント化するために教師ありディープラーニングを使用する場合の課題は2つあります。まず、教師ありディープラーニングにはトレーニング画像の大規模なデータセットが必要であり、蛍光顕微鏡の場合、この大規模なデータセットを提供することは、より簡単に利用できる従来のカメラベースの画像を使用する場合と比較して、広範なタスクになります。第二に、蛍光顕微鏡画像は、トレーニング画像内の関心のあるオブジェクトのGTアノテーションを必要としますが、これは専門知識を必要とする面倒な作業です。この作業は、蛍光標識された細胞内構造を持つ細胞の単一の画像に対して、専門家の時間の数時間または数日かかることがあります。さらに、アノテーター間のばらつきも問題となります。手動アノテーションの必要性を排除し、ディープラーニング技術の優れたパフォーマンスを活用できるようにするために、ここでは、シミュレートされた画像でトレーニングされたディープラーニングベースのセグメンテーションモデルが使用されました。物理ベースのシミュレータは、顕微鏡での画像形成のプロセスを模倣および制御する方法を提供し、既知の形状の画像の作成を可能にします。物理ベースのシミュレータを利用して、ミトコンドリアのシミュレートされた蛍光顕微鏡画像の大規模なデータセットがこの目的のために作成されました。
シミュレーションは、形状生成にパラメトリックカーブを使用したジオメトリ生成から始まります。エミッタは、密度が実験値と一致するように均一に分布した方法で形状の表面にランダムに配置されます。顕微鏡の3次元点像分布関数(PSF)は、ギブソン・ラニモデル9の計算効率の高い近似8を用いて計算される。シミュレーション画像と実験画像とを厳密に一致させるために、暗電流とショットノイズの両方をエミュレートして、写真のリアリズムを実現します。物理 GT はバイナリ マップの形式で生成されます。データセットを生成し、シミュレーションモデルをトレーニングするためのコードが利用可能であり10、このシミュレートされたデータセットを作成する手順を図1に示します。
固定心筋芽細胞の共焦点顕微鏡画像を解析することにより、シミュレートされたデータセットで完全にトレーニングされたディープラーニングベースのセグメンテーションの有用性を紹介します。これらの心筋芽細胞は、ミトコンドリア外膜に蛍光マーカーを発現し、蛍光顕微鏡画像におけるミトコンドリアの可視化を可能にした。ここで例として挙げた実験を行う前に、細胞からグルコースを奪い、培養中で7日間ガラクトースに適応させた。増殖培地中のグルコースをガラクトースに置き換えると、培養中の細胞がより酸化的になり、したがって、エネルギー生産をミトコンドリアに依存するようになります11,12。さらに、これにより、細胞はミトコンドリアの損傷に対してより敏感になります。ミトコンドリアの形態変化は、細胞培養培地13にカルボニルシアン化物m−クロロフェニルヒドラゾン(CCCP)などのミトコンドリア脱共役剤を添加することによって実験的に誘導することができる。CCCPはミトコンドリア膜電位(ΔΨm)の喪失をもたらし、したがって、ミトコンドリアをより管状(棒状)からより球状(ドット状)の形態に変化させる14。さらに、ミトコンドリアはCCCP治療中に腫脹する傾向があります15。ガラクトース適応心筋芽細胞をミトコンドリア脱共役CCCPで処理した場合のミトコンドリア変化の形態分布を表示します。ミトコンドリアの深層学習セグメンテーションにより、ミトコンドリアをドット、ロッド、またはネットワークとして分類することができました。次に、さまざまなミトコンドリア表現型の枝の長さと存在量を評価するための定量的指標を導き出しました。解析のステップを図2に概説し、細胞培養、イメージング、ディープラーニングによるセグメンテーションのためのデータセット作成、ミトコンドリアの定量解析の詳細を以下に示します。
Protocol
注:セクション1〜4は、既知の実験条件でミトコンドリアの既存の顕微鏡画像を使用する場合は省略できます。
1. 細胞培養
- 2 mM L-グルタミン、1 mMピルビン酸ナトリウム、10 mMガラクトース、10%FBS、1%ストレプトマイシン/ペニシリン、および1 μg/mLピューロマイシンを添加したグルコースなしでDMEMでH9c2細胞を増殖させます。実験の前に、細胞を培養で少なくとも7日間ガラクトースに適応させます。
注:ここで使用されるH9c2細胞は、蛍光ミトコンドリアを発現するように遺伝子改変されており、ピューロマイシン耐性遺伝子も獲得しています。この抗生物質の添加は、耐性遺伝子、したがって蛍光性ミトコンドリアを有する細胞の増殖を確実にする。 - 細胞コンフルエントが約80%に達したら、実験のためにH9c2細胞を播種する(T75培養フラスコ、明視野顕微鏡で評価)。先に進む前に、培地とトリプシンを37°Cに少なくとも15分間予熱します。
注:2つ以上の異なる細胞培養条件で並行して実験を実行することが可能です。筋芽細胞の損失を防ぐために、H9c2細胞のコンフルエントは80%を超えてはなりません。100%コンフルエントで、細胞は筋管を形成し、分化し始めます。 - 12ウェルプレートのウェルに各実験条件の#1.5ガラスカバーガラスを置くことにより、滅菌層流フードで操作して細胞を播種する準備をします。各条件と実験の詳細を12ウェルプレートにラベル付けします。
- 細胞培養フラスコをインキュベーターからフード内の作業面に移動します。吸引システムまたは電動ピペットを使用して培地を吸引し、5 mLのPBS(室温)で2回洗浄します。
- 予熱したトリプシンを作業面に移動し、最後のPBS洗浄を吸引します。次に、予熱したトリプシンを加えて細胞を剥離します(T75培養フラスコの場合は1 mL)。培養フラスコをインキュベーターに戻し、37°Cで2〜3分間待ちます。
- 予熱した培地をインキュベーションの終わりに向かって作業面に移動します。明視野顕微鏡を使用して細胞が剥離したことを確認します。
- すべての細胞が剥離していない場合は、フラスコの側面に数回注意深くしっかりとタップして、残りの細胞を剥離します。
- 培養フラスコを作業面に戻します。電動ピペットを使用して培養フラスコに4 mLの細胞培養液を加え、トリプシン作用を停止します。フラスコに培地を添加する場合は、ピペットを使用して培地を表面全体に繰り返し分散させ、細胞を剥離して細胞懸濁液に集めます。
- 細胞懸濁液(5 mL)をフラスコから15 mLチューブにピペットで入れます。
- 細胞を200 x g で5分間遠心分離します。フード内のチューブを開き、吸引によって上清を取り除き、細胞ペレットを5 mLの細胞培養培地に穏やかに再懸濁します。
- 自動セルカウンターで少量の細胞懸濁液を分析することにより、細胞数を評価します。培地1ミリリットル当たりの生細胞数に注目してください。
- 約2 x 104 細胞/cm2の播種密度で計算された細胞懸濁液の所望の容量(例えば、ウェルあたり150 μL)を、事前に標識された15 mL遠沈管に移します。予熱した細胞培養培地を、ウェル数に基づいて事前に計算された容量で15 mL遠沈管に追加します。12ウェルプレートの場合、各ウェルに1 mLの総容量を使用します。
- 各ウェルに適切な容量を分注する前に、遠沈管の内容物を数回上下にピペッティングして、希釈した細胞懸濁液が適切に混合されていることを確認します。細胞懸濁液がウェルに分注されたら、各方向に注意深く制御された方法でプレートを振って、ウェル全体に細胞をより適切に分散させます。12ウェルプレートを翌日まで37°Cのインキュベーターに入れます。
- 明視野顕微鏡で細胞をチェックして、増殖を評価します。細胞が約80%のコンフルエントまで十分な成長を達成した場合は、次のステップに進みます。それ以外の場合は、十分な成長に達するまで毎日評価を繰り返します。
2. 実験手順
- 原液濃度に応じて、実験に必要な材料の量を計算します。凍結した材料(30 mM CCCPストック溶液)を37°Cで解凍し、細胞培養培地を37°Cで予熱するように設定した。
- 解凍したら、ストック溶液(1:3,000)を細胞培養培地で希釈して、10 μM CCCPの作業溶液を作成します。
注意: 1μL未満の容量をピペットで送らないでください。 - 必要な材料がすべて準備され、予熱されたら、実験的処理を開始します。12ウェルプレートのウェルから細胞培養培地を吸引し、新鮮な予熱培地をコントロールウェルにすばやく適用し、予熱した培地を10 μM CCCP溶液とともに試験条件ウェルにすばやく塗布します。
- 12ウェルプレートを37°Cのセルインキュベーターで2時間インキュベートします。潜伏期間中に、固定溶液を調製する。
- 固定液の調製には、あらかじめ用意されている4%パラホルムアルデヒド(PFA)を使用して、25%グルタルアルデヒド(GA)ストック溶液を0.2%(1:125)に希釈します。溶液を37°Cで予熱するように設定します。 12ウェルプレートの場合、ウェルあたり500 μLで十分です。
注意: PFAとGAは有毒化学物質です。保護具付きの化学フードで作業してください。詳細については、それぞれのSDSを参照してください。 - インキュベーション期間が完了したら、12ウェルプレートをインキュベーターから取り出し、作業面に置きます。
注:作業はもはや無菌環境を必要としません。 - ウェルから細胞培養液を吸引し、予熱した固定液を塗布する。12ウェルプレートを37°Cのインキュベーターに20分間戻します。
- インキュベーションが完了したら固定液を吸引し、室温PBSで各ウェルを2回洗浄します。プロトコルのこの段階で実験を一時停止し、後で続行することができます。
- 実験を一時停止する場合は、ウェルあたり1 mLのPBSを追加し、12ウェルプレートをプラスチックフィルム(パラフィルム)で密封し、4°Cで保存します。
3.カバーガラスへの細胞の染色と取り付け
- DAPI(核染色)ストックを解凍し、開封前にミニ遠心分離機でスピンダウンします。DAPIストックをPBS(1:1,000)で希釈してDAPI染色液を調製します。
- 12ウェルプレートからPBSを吸引し、各ウェルに1 mLのDAPI染色溶液を塗布します。暗所で室温で5分間インキュベートします。
- DAPI染色液を吸引します。ウェルあたり2 mLのPBSで2回洗浄します。
- すりガラス顕微鏡スライド(スライドガラス)を70%エタノールで洗浄し、続いてPBSで3回洗浄して準備します。糸くずの出ないペーパータオルを使用してスライドを注意深く乾かし、ライトに向けてほこりやグリースの兆候を確認します。
注意: この手順には手袋が必要です。 - スライドガラスに実験の詳細をラベル付けします。封入剤をマイクロ遠心チューブに移し、ミニ遠心分離機でスピンダウンします。
- ワークスペースを配置して、カバーガラスを取り付ける準備をします。カバーガラス、ラベル付きスライドガラス、封入剤、ピペット、10 μLピペットチップ、糸くずの出ないペーパータオル、ピンセットが入った12ウェルプレートを用意してください。
- 準備したスライドガラスに10 μLの封入剤(ProLongガラス)を塗布し、カバーガラスを取り付けます。
- ピンセットを使用して12ウェルプレートからカバーガラスを手に取り、カバーガラスの端と背面に軽く触れて、準備した糸くずの出ないペーパータオルに軽く触れて、カバースリップから湿気を軽くたたきます。カバーガラスを封入剤の液滴の上にそっと下ろします。
- カバーガラスごとに上記の2つの手順を繰り返します。スライドガラスごとに1〜4枚のカバーガラスができるように、封入剤の液滴を配置します。
- 取り付けられたカバーガラスが動かないように、スライドガラスが平らな面にあることを確認してください。スライドガラスを室温の暗い場所に一晩置き、封入剤を固めます。これで、サンプルをイメージングする準備が整いました。実験は、プロトコルのこの段階で一時停止し、後で続行できます。
- この段階で実験を一時停止する場合は、室温で一晩サンプルを固めた後、光から保護するためにアルミホイルで覆い、4°Cで保存します。
4. 顕微鏡とイメージング
- 輸送のためにサンプルをアルミホイルで覆います(まだ行っていない場合)。
- 顕微鏡施設に到着したら、顕微鏡ろ紙で二重蒸留H2Oを使用して、スライドガラスのカバーガラスからPBS残留物をきれいにします。スライドガラスを明るい光に向けて保持して、カバーガラスに斑点がないことを確認します。
- 顕微鏡の起動手順を実行します。適切な対物レンズ(プランアポクロマート63倍/1.40オイルM27)を選択し、液浸媒体を追加します。
- サンプルをサンプルホルダーに入れます。顕微鏡ソフトウェア内で、[位置特定]タブを使用してEGFP蛍光照明をアクティブにし、接眼レンズを使用してzレベルを手動で調整してサンプルに焦点を合わせます。焦点を見つけたら、蛍光照明をオフにします。
- 顕微鏡ソフトウェア内の「取得」タブに切り替えます。「スマートセットアップ」を使用して、イメージングに使用する蛍光チャンネルを選択します。この実験では、EGFPチャンネルとDAPIチャンネルのプリセットを選択しました。
- 信号強度を最適化するためのガイドとして強度ヒストグラムを使用して、初期設定から各チャンネル強度を調整します。これでイメージングを開始できます。
- イメージングの場合は、ソフトウェアのオプションを使用してイメージング位置をアレイに配置し、アレイをカバースリップの中央に配置し、合計12の位置をイメージングします。配列内の各位置にセルが含まれていることを確認します。セルがない場合は、位置をセルのある領域に調整します。
- 顕微鏡ソフトウェアのオートフォーカスを使用してアレイ内の各位置の焦点を調整し、これに続いて手動で微調整して、できるだけ多くのミトコンドリアに焦点が合うようにします。
注意: EGFPチャネルは、これらの手動調整に使用されます。 - カバーガラスごとにこの方法を使用して画像を取得します。画像ファイルを保存し、形態素解析の手順に進みます。
5. シミュレーショントレーニングデータの生成
- コード10 をダウンロードし、内容を解凍します。README.md の指示に従って、必要な環境をセットアップします。
- このプロジェクトのホームフォルダである「src」という名前のフォルダに移動します。内部の番号付きフォルダーには、ツールを使用するさまざまな手順に固有のコードが含まれています。
注 : コマンド "cd <>" を使用して、コードのサブフォルダに移動します。Python ファイルを実行するには、コマンド "python <<ファイル名>>.py" を使用します。「チュートリアル.pptx」という名前のプレゼンテーションには、セグメンテーションモデルを使用するための完全な手順が含まれています。 - コピーを作成するか、フォルダ「2.ミトコンドリアシミュレーション Airy」と改名した(現在の顕微鏡として使用されていた共焦点顕微鏡に最も近いPSF関数であるため、ここではAiryを使用する)。「シミュレータ」という名前のフォルダに移動します。
注: このフォルダには、トレーニング データのシミュレーションに関連するすべてのファイルが含まれています。シミュレーションに設定するパラメータは 3 セットあります。 - まず、バッチ設定ファイル「simulator/batch/bxx.csv」のシミュレータに対して、ミトコンドリアの数、構造の直径と長さの範囲、構造が示すz軸の範囲、蛍光色素の密度など、サンプルに関するパラメータを設定します。
- 次に、光学系に関連するパラメータを設定します。
- このセットには、顕微鏡の種類(選択するPSFモデルを決定する)、開口数(N.A)、倍率(M)、ピクセルサイズ(μm単位)、蛍光色素の発光波長、バックグラウンドノイズパラメータなどが含まれます。
- N.A.の光学パラメータ、倍率、データセットの最小波長をファイル「シミュレータ/microscPSFmod.py」に設定します。
- 画素サイズに希望の値を設定し、データセットの発光波長をパラメータとしてファイル「simulator/generate_batch_parallel.py」の「process_matrix_all_z」関数に設定します。
- 関数 "save_physics_gt" の最後の 3 つのパラメータをファイル "simulator/generate_batch_parallel.py" に設定します。パラメーターは、ピクセル サイズ (nm)、出力画像のサイズ、およびmax_xyです。
- 出力データセットに関する 3 番目のパラメーター セット (出力画像のサイズ、各画像のタイル数、合計画像数など) をファイル "simulator/generate_batch_parallel.py" に設定します。
- ファイル "simulator/generate_batch_parallel.py" を実行してシミュレーションを開始します。
- 最終サイズのイメージを取得するには、"5.データ準備とトレーニング/データ準備」をクリックし、そのフォルダに移動します。
注:合成データセットの各画像は、128ピクセルx128ピクセルの4つのシミュレートされた画像のモンタージュを作成することによって形成され、最終的な画像サイズは256ピクセルx256ピクセルになります。これにより、最初に、顕微鏡画像(「出力」フォルダー内)とグラウンドトゥルースセグメンテーション(「出力/physics_gt」フォルダー内)の両方に対して、多数の個別のタイル(約12,000)が生成されます。- バッチ番号、バッチあたりの画像数、ノイズの範囲のパラメータを「data_generator.py」に設定します。
- ファイル "data_generator.py" を実行してモンタージュ画像を作成します。
- "image" と "segment" という名前のフォルダを "5.データ準備とトレーニング/データトレーニング/トレーニング」フォルダから「5.データ準備とトレーニング/データ準備/データ」。
6.ディープラーニングベースのセグメンテーション
- 次のように、シミュレートされた画像でセグメンテーション モデルをトレーニングします。
- 新しい顕微鏡のセグメンテーションモデルをトレーニングするには、「5.データ準備とトレーニング/トレーニング」フォルダに、バッチサイズ、セグメンテーションのバックボーンモデル、エポック数、学習用の学習率のパラメータをファイル「train_UNet.py」で設定します。
- 「train_UNet.py」を実行してトレーニングを開始します。トレーニングプロセスでは、シミュレートされた検証セットのセグメンテーションのパフォーマンスのメトリックが表示されます。
注: トレーニングが完了すると、モデルは "best_model.h5" として "5.データの準備とトレーニング/トレーニング」フォルダー。
- 次の手順で、トレーニング済みのモデルに適したサイズに分割された実際の顕微鏡画像でモデルをテストします。
- 「6.テストデータを準備します」とコピーし、".png" 形式のデータを "png" フォルダーに格納します。
- ファイル "split_1024_256.py" を実行して、トレーニング済みのモデルに適したサイズに画像を分割します。これにより、「data」フォルダー内の画像の256ピクセルx256ピクセルサイズのトリミングが作成されます。
- 作成した「データ」フォルダを「7.テストセグメンテーション」フォルダ。
- フォルダ「7.テストセグメンテーション」をクリックし、使用する保存済みモデルの名前を設定します。
- 作物をセグメント化するには、ファイル "segment.py"を実行します。セグメント化された画像は「出力」フォルダに保存されます。
7.形態素解析:「グルコース」と「CCCP」の2つのデータグループのミトコンドリア形態の解析
- 分析するデータを配置します (画像ごとに 1 つのフォルダー、各フォルダーには 1 つの画像のセグメント化された出力切り抜きが含まれます)。
- "make_montage.py" という名前の補足ファイルをダウンロードし、"7.テストセグメンテーション」。
- ファイル "make_montage.py" を実行して、セグメント化された出力を画像の元のサイズに戻します。
- "9.形態素解析」を "src" フォルダ内に保存します。
- Skan16 と Seaborn Python パッケージを、"pip install seaborn[stats] skan" コマンドを使用して環境にインストールします。
注:セグメンテーションマスクは、Skanという名前のライブラリを使用してスケルトン化され、個々のミトコンドリアのトポロジーの分析を可能にします。 - 補足ファイル " analyze_mitochondria.py " をフォルダー "9.形態素解析".
- 実験のさまざまなグループの画像をフォルダー内のさまざまなフォルダーに配置します "7.テストセグメンテーション」。
- ファイル「 analyze_mitochondria.py」に「ピクセルサイズ」と「入力パス」のパラメータを設定します。
- ファイル 「analyze_mitochondria.py」 を実行してコードを実行し、解析のスケルトン化とプロットを作成します。
Representative Results
蛍光ミトコンドリアマーカーを発現する固定心筋芽細胞の共焦点画像におけるミトコンドリアの深層学習セグメンテーションの結果は、この方法の有用性を示しています。この方法は、他の細胞タイプや顕微鏡システムと互換性があり、再トレーニングのみが必要です。
蛍光ミトコンドリアを有するガラクトース適応H9c2心筋芽細胞をCCCPの有無にかかわらず2時間処理した。次に、細胞を固定し、核色素で染色し、蛍光顕微鏡分析のためにスライドガラスに取り付けました。共焦点顕微鏡を利用して、コントロール細胞とCCCP処理細胞の両方の画像を取得しました。12枚の共焦点画像で解析を行い、条件ごとに約60個の細胞を使用しました。次に、各画像におけるミトコンドリアの形態学的状態を決定し、定量化した。訓練されたモデルから得られたセグメンテーションマスクは、この実験のために個々のミトコンドリアのトポロジーの分析を可能にするためにスケルトン化されました。個々のミトコンドリアの枝長を分類のパラメータとして使用した。個々のミトコンドリアは、次の規則によって形態学的クラスに分類されました。具体的には、長さが1,500 nm未満のミトコンドリア骨格を ドットと見なし、長いミトコンドリアをさらに ネットワークまたはロッドに分類しました。2 つ以上の分岐が交差するジャンクションが少なくとも 1 つある場合、これは ネットワークとして定義されました。そうでなければ、ミトコンドリアは 棒として分類されました。形態クラスで標識されたミトコンドリア骨格を有する画像の例を 図3に示す。
図4Aのミトコンドリア形態分類は、CCCPを2時間適用したときに有意な変化を検出できることを示しています。これは、CCCP処理細胞のドットの増加によって最も明確に実証されています。
図4Bの平均分岐長は、形態の検出可能で有意な変化を説明するための別の手段である。ロッドとネットワークの両方が、予想通り、細胞をCCCPで処理した場合、対照と比較して有意に減少しました。ドットの平均枝長の大幅な増加も、CCCPにさらされたときにミトコンドリアが受ける腫れを考えると予想されました。
図1:蛍光顕微鏡画像のシミュレーションのためのパイプライン。 パイプラインには、(i)3Dジオメトリ生成、(ii)エミッタおよびフォトキネティクスエミュレーション、(iii)3D PSF畳み込み、(iv)ノイズ追加、および(v)二値化が含まれます。 この図の拡大版を表示するには、ここをクリックしてください。
図2:機械学習によるミトコンドリア形態解析の手順 。 (1)セグメント化する画像は、最初にセグメンテーションモデルで許容できるサイズにトリミングされます。(2)深層学習ベースのセグメンテーションが画像作物に適用されます。(3)セグメント化されたアウトプット作物は、元のサイズに縫い付けられます。(4)モンタージュセグメンテーションはスケルトン化されています。(6)スケルトン化からのトポロジーに基づいて形態素解析を行う。 この図の拡大版を表示するには、ここをクリックしてください。
図3:顕微鏡画像のセグメンテーション出力にオーバーレイされたミトコンドリア骨格 。 (A)セグメンテーション出力。(B) 直線スケルトン(分岐の始点と終点の間のユークリッド距離)がセグメンテーション出力の上にオーバーレイされます。骨格の色分けはミトコンドリアのクラスを表しています。ネットワークは赤、ロッドは緑、ドットの色は紫です。 この図の拡大版を表示するには、ここをクリックしてください。
図4:ミトコンドリア形態の解析。 (A)ミトコンドリアの全長に基づくさまざまな形態学的カテゴリーの相対的な割合の概要。(B)実験条件間および形態学的カテゴリー間の平均ミトコンドリア分岐長の比較。x軸は形態分類を表示し、y軸はミトコンドリアの平均分岐長をナノメートル(nm)で表示します。p値の形式での統計的有意性は、* p < 0.05、** p < 0.01、*** p < 0.001、および **** p < 0.0001として 示されます。この図の拡大版を表示するには、ここをクリックしてください。
図5:セグメンテーションの失敗事例 高密度のミトコンドリアは、セグメンテーションモデルにとって困難なシナリオです。色付きの骨格は、画像で検出された最長の単一ミトコンドリアを示しています。長さ測定を行うことで、これらのシナリオを検出し、形態演算子Erode(検出された骨格をスリムにする)を使用してセグメンテーション結果を改善するために取り組むことができます。 この図の拡大版を表示するには、ここをクリックしてください。
Discussion
プロトコルの重要なステップに関連する注意事項については、「ジオメトリ生成」と「シミュレータパラメータ」の段落で説明します。「転移学習」というタイトルの段落では、複数の顕微鏡に適応する際のスループットを高めるための変更について説明します。「粒子分析」および「他の細胞内構造の生成」に関する段落は、この方法の将来の応用に言及している。「生物学的真実との違い」に関する段落では、シミュレーションが実際のデータと異なる可能性があるさまざまな理由と、これらの理由がアプリケーションに影響を与えるかどうかについて説明します。最後に、「密集した構造」の段落で、この方法の困難なシナリオについて説明します。
ジオメトリ生成
ミトコンドリアの3Dジオメトリを生成するには、bスプライン曲線をスケルトンとして作成した単純な2D構造が合成データセットの作成に適しています。これらの合成形状は、2D細胞培養で観察されるミトコンドリアの形状に厳密にエミュレートしています。しかし、心臓組織などの3D組織の場合、ミトコンドリアの形状や配置はかなり異なります。このような場合、セグメンテーションモデルのパフォーマンスは、シミュレートされた画像に方向性を追加することで向上する可能性があります。
シミュレーターのパラメーター
シミュレーターのパラメーターを設定するときは、推論を実行するデータのパラメーターと一致するように設定しないと、セグメンテーションのパフォーマンスが低下する可能性があるため、注意が必要です。そのようなパラメータの1つが信号対雑音比(SNR)範囲です。テストするデータの SNR の範囲は、シミュレートされたデータセットの値と一致する必要があります。さらに、使用するPSFは、ターゲット・テスト・データのPSFと一致する必要があります。例えば、共焦点PSFからのモデルトレーニング画像は、落射蛍光顕微鏡からの画像のテストには使用しないでください。注意すべきもう一つのパラメータは、テストデータで追加の倍率を使用することです。テストデータで追加の倍率が使用されている場合は、シミュレーターも適切に設定する必要があります。
転移学習
転移学習は、あるタスクでトレーニングされた学習済みモデルを別のタスクで使用するために活用する現象です。この現象は、さまざまな種類の顕微鏡データに関連する私たちの問題にも当てはまります。あるタイプの顕微鏡データでトレーニングされたセグメンテーションモデル(ソースコードで提供)の重みを使用して、別のタイプの光学顕微鏡データで使用するセグメンテーションモデルを初期化できます。これにより、トレーニングデータセットの大幅に小さなサブセット(10,000枚に対して3,000枚の画像)でトレーニングできるため、シミュレーションの計算コストを削減できます。
粒子分析
粒子解析は、セグメント化されたマスクに対しても実行できます。これにより、個々のミトコンドリアの面積や曲率などの情報を得ることができます。この情報は、ミトコンドリアの定量的比較の指標としても役立ちます(この実験には使用されません)。例えば、現在のところ、ミトコンドリアの長さに基づく閾値を用いてドット形態を定義している。場合によっては、楕円率を組み込んで、小さな棒状のミトコンドリアを点状または点状のミトコンドリアからよりよく分離することが有用であり得る。あるいは、特定の生物学的条件によってミトコンドリアが丸くなる場合は、ミトコンドリア集団を分析するために曲率の定量化が興味深い場合があります。
他の細胞内構造の生成
物理ベースの細胞内構造のセグメンテーションは、ミトコンドリアと小胞について実証されています1。小胞はさまざまな形状を示しますが、サイズは小さく、蛍光顕微鏡で観察すると単純な球体に見えます。したがって、小胞の形状は、適切な直径範囲の球構造を使用してシミュレートされます。これは、関数の変更が構造の形状(ミトコンドリアの場合は円柱、小胞の場合は球)とそれぞれのパラメータを生成することを意味します(プロトコルセクションのステップ5.4)。幾何学的には、小胞体および微小管も管状構造体としてシミュレートされている17。直径150 nmの小胞体と平均外径25 nmの微小管、直径15 nmの内側の中空管をモデル化することで、これらの構造の形状の近似が得られます。これらの細胞内構造のそれぞれについて変化する別のパラメータは、蛍光色素密度である。これは、蛍光色素が結合する生体分子の分布と結合確率に基づいて計算されます。
生物学的グラウンドトゥルースとの違い
ディープラーニングモデルのシミュレーション教師ありトレーニングに使用されるシミュレーションデータは、多くの点で実際のデータと異なります。(i)シミュレーションデータに非特異的標識が含まれていないのは、実データに浮遊蛍光色素が存在することが多いため、実データとは異なります。これにより、実際の画像の平均背景値が高くなります。この差は、SNRを一致させ、観測された実際の値と一致するように背景値を設定することで軽減されます。(ii)細胞内構造の運動と光動力学は、システム内のダイナミクスの2つの源です。生細胞内の移動する構造(数ミリ秒の範囲で移動する)は、モーションブラーを引き起こします。ぼかし効果を回避するために、実際のデータ収集中の露光時間が短縮されます。一方、タイムラプスをシミュレートせず、動かない構造を想定します。この仮定は、実データの露光時間が小さい場合に有効です。ただし、この仮定により、実際のデータの露光時間がモーション ブラーを導入するのに十分な大きさである場合、出力に誤差が生じる可能性があります。一方、光動力学はナノ秒からマイクロ秒のオーダーであり、実験の通常の露光時間は光動力学の効果を平均化するのに十分な長さ(ミリ秒のオーダー)であるため、シミュレーションでは省略できます。(iii)顕微鏡画像のノイズは異なる発生源を持ち、これらの発生源は異なる確率密度関数を持っています。これらの個々のノイズ源をモデル化する代わりに、一定のバックグラウンド上のガウスノイズとして近似します。この差は、シグナル対バックグラウンド比が低い条件(2〜4の範囲)および蛍光色素1のマクロ密度を扱う場合のデータ分布を大きく変えることはありません。(iv)イメージングのアーティファクトは、収差、ドリフト、および体系的なぼやけから発生する可能性があります。顕微鏡は整列しており、実際のデータで分析するために選択された領域にはこれらのアーチファクトがないと仮定します。これらのアーティファクトのいくつかをPSF 18,19,20でモデル化する可能性もあります。
密集した構造
重なり合うロッドとネットワークを区別できないことの難しさは、2D顕微鏡データのセグメンテーションにおける永続的な問題です。非常に困難なシナリオが 図5に提示されており、ミトコンドリアが密集しているため、セグメンテーションモデルと次の分析で最適ではない結果が得られます。この課題にもかかわらず、このような状況で形態学的演算子を使用してスケルトン化をスリムにすることは、すべてのミトコンドリア形態カテゴリの有意な変化を引き続き検出できるようにしながら、これらの過度に接続されたネットワークを壊すのに役立ちます。さらに、イメージングに広視野顕微鏡ではなく共焦点顕微鏡を使用することは、焦点が合っていない光を排除することによってこの問題を部分的に軽減する1つの方法です。さらに将来的には、交差する(物理的にネットワークを形成する)ミトコンドリアと、単一の平面内の突起が互いに重なる棒状のミトコンドリアを区別するために3次元セグメンテーションを行うことが有用であると考えられる。
ディープラーニングセグメンテーションは、顕微鏡ユーザーの分析機能を拡張する有望なツールであり、以前は管理できなかった複雑なデータや大規模な定量データセットの自動分析の可能性を開きます。
Disclosures
著者は、この記事に関連する利益相反はないと宣言します。
Acknowledgments
著者らは、アリフ・アフメド・セクとの議論を認める。ザンバラル・ブジャバルは、安定したH9c2細胞の構築に貢献したことで知られています。ERC開始助成金番号804233(KAへ)、科学再生のための研究者プロジェクト助成金番号325741(DKへ)、ノルウェー北部地域保健局助成金番号HNF1449-19(Å.B.B.)、およびUiTのテーマ別資金提供プロジェクトVirtualStain with Cristin Project ID 2061348(D.K.P.、Å.B.B.、K.A.、およびA.H.)。
Materials
| Name | Company | Catalog Number | Comments |
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- Legland, D., Arganda-Carreras, I., Schindelin, J. MorphoLibJ: MorphoLibJ v1.2.0. Zenodo. , Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016).
- Arganda-Carreras, I., et al. Trainable_Segmentation: Release v3.1.2. Zenodo. , Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016).
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
