Summary
記載されているパイプラインは、ギガバイトより大きい電子顕微鏡データセットのセグメンテーション用に設計され、細胞全体の形態を抽出します。セルを3Dで再構築すると、個々のニーズに合わせて設計されたカスタマイズされたソフトウェアを使用して、3Dで直接定性的および定量的な分析を実行し、また、仮想現実を使用してビューの閉塞を克服することができます。
Abstract
電子顕微鏡(EM)を用いた生体組織のシリアル断面化とその後の高解像度イメージングにより、高解像度画像スタックのセグメンテーションと再構成を可能にし、2Dでは解決できなかった超構造パターンを明らかにする画像。実際、後者はミトコンドリアの場合のように、形態学の誤解につながる可能性があります。したがって、3Dモデルの使用は、より一般的であり、形態に基づく機能的仮説の定式化に適用される。現在までに、光または電子画像スタックから生成された3Dモデルを使用すると、定量化と同様に、質的、視覚的な評価を行い、3Dで直接実行することがより便利になります。これらのモデルは非常に複雑なことが多いため、オクルージョンを克服し、3D 構造を最大限に活用するためには、仮想現実環境を設定することも重要です。ここでは、画像セグメンテーションから再構成および解析までのステップバイステップガイドについて詳しく説明する。
Introduction
電子顕微鏡セットアップのための最初の提案されたモデルは、自動化されたシリアルセクションとイメージングを可能にする19811;このような自動化された、改良されたセットアップの普及は、EMを使用して画像大型サンプルを画像化する過去10年間で増加しました2,3,そして、印象的な緻密な再構成または完全な形態を示す作品は、直後に4、 5,6,7,8,9,10.
大規模なデータセットの作成には、イメージ セグメンテーション用のパイプラインを改善する必要が生じています。RECONSTRUCTおよびTrakEM211、12のようなシリアルセクションの手動区分のためのソフトウェア用の用具は透過的な電子顕微鏡(TEM)のために設計されていた。プロセス全体が非常に時間がかかる可能性があるため、これらのツールは、最先端の自動 EM シリアル セクション技法 (3DEM) を使用して自動的に生成できる数千ものシリアルマイクログラフを処理する場合には適切ではありません。ブロック面走査電子顕微鏡(SBEM)3または集集されたイオンビーム走査型電子顕微鏡(FIB-SEM)2.このため、科学者は、セグメンテーション効率を向上させるために、半自動化ツールと完全に自動化されたツールの開発に力を入れてきました。機械学習13または最先端の、トレーニングされていないピクセル分類アルゴリズム14に基づく完全に自動化されたツールは、より大きなコミュニティで使用するように改善されています。それにもかかわらず、セグメンテーションはまだ完全に信頼性が低く、多くの作品は、セグメンテーション時間の面で非効率的であるが、まだ完全な信頼性を提供する手作業に基づいています。ilastik15などの半自動化ツールは、実際の校正フレームワークを提供せず、統合できるセグメンテーションの即時読み出しをある程度修正できるため、より優れた妥協点を表します。並列16で TrakEM2 を使用しています。
大規模なセグメンテーションは、現在まで、主にコネクトミクスに限定されています。したがって、コンピュータ科学者は、大規模な、アノテートされたデータセットの統合可視化のためのフレームワークを提供し、シナプス接点17、18の存在によって推測される接続パターンを分析することに最も興味を持っています。それにもかかわらず、正確な3D再構成は、3D構造の定性的評価ではなく、定量的形態解析に使用できます。NeuroMorph19、20、グリコーゲン分析10などのツールは、長さ、表面積、体積の3D再構成、および雲点の分布に関する測定を完全に行うために開発されました。元の EM スタック8、10を破棄します。アストロサイトは、視覚的な手がかりや反復的な構造パターンの欠如が、研究者に個々の構造単位の機能に関するヒントを与え、その結果、星星細胞プロセスの適切なオントロジーの欠如を与えるので、興味深いケーススタディを表します。21は、分析ツールの設計に挑戦します。最近の試みの1つは、天球プロセスの視覚的な探求と星球プロセスと神経質との間の質的関係の推論を可能にするAbstractocyte22でした。
それにもかかわらず、EMの下で切除された組織をイメージングの利便性は、無傷の脳サンプルに隠された情報の量が膨大であり、単一のセクション画像を解釈することで、この問題を克服できるという事実から来ています。脳内の構造の密度は非常に高いので、一度に見える少数の物体の3D再構成は、それらを視覚的に区別することが不可能になります。そこで、複雑な構造を観察する改良型として、バーチャルリアリティ(VR)の活用を提案した。我々は、閉塞(3D空間における第2の目的の可視性の遮断である)を克服し、校正を含む再構成の定性的評価を容易にするために、アストロサイト23に焦点を当て、定量化空間内のポイント数を使用するフィーチャの数。最近では、グリコーゲン顆粒を発光体23と考えることで、ニューライトの乳酸シャトル確率の地図を可視化する手法であるGLAM(グリコーゲン由来乳酸吸収モデル)を用いてVR視覚探査を組み合わせました。特に、VRを用いてGLAMが生成する光のピークを定量化しました。
Protocol
1. フィジーを用した画像処理
- イメージ スタックを開く場合は、スタックを含む顕微鏡からネイティブ ファイルをドラッグ アンド ドロップするか、イメージ スタック全体を含むフォルダをソフトウェア ウィンドウにドラッグ アンド ドロップします。
注:フィジーは、.jpg、.tif、.png などのすべての標準イメージ形式と、顕微鏡プロバイダからの独自のファイル形式を自動的に認識できます。次のプロトコルは 3DEM のイメージ スタック用に最適化されていますが、これらの手順は光顕微鏡データセットにも使用できます。 - スタックを開いたら、Image > プロパティに移動して、ボクセルサイズがメタデータから読み取られたことを確認します。そうでない場合は、手動で入力できます。
- イメージを 8 ビットに変換してください。[画像 ]をクリックし、[8ビット] を選択します。
- 元のスタックが異なる順次ファイル/フォルダ内にある場合は、[連結]を使用して、[イメージ > スタック > ツール > 連結]を選択して、それらを 1 つのスタックにマージします。
- [ファイルとして保存]を選択してスタックを保存します。これは単一の .tif ファイルとして保存され、バックアップとして、さらに処理するために使用できます。
- 元のスタックが異なるタイルとして取得された場合は、TrakEM2 内でステッチを適用します。
- 新しい> TrakEM2 (ブランク)を使用して新しい TrakEM2 プロジェクトを作成します。
- ビューポート グラフィカル ユーザー インターフェイス (GUI) 内で、マウスの右ボタン> インポート スタックをクリックしてスタックをインポートし、フィジーメイン GUI で開いたすべてのタイルをインポートします。キャンバスサイズを右クリックしてスタック全体に合わせてサイズを変更し、キャンバス/レイヤーセットのサイズを変更し、モンタージュの最終サイズに応じてy/xピクセルサイズを選択します。
注:たとえば、4,096 x 4,096 ピクセルの 4 つのタイルを使用してモンタージュをファイナライズする場合、キャンバスサイズは少なくとも 8,192 x 8,192 ピクセルにする必要があります。少し大きくして、後でトリミングすることを検討してください。 - レイヤー セットにドラッグ アンド ドロップして、個々のタイルの一般的な部分を重ね合わせます。左上のスライダを使用して、重ね合わせに役立つ透明度を変更します。
- モンタージュとマウスの右ボタン>整列をクリックしてスタックを再配置し、オプションのいずれかを選択します(以下の注を参照)。
注:SBEM または FIB-SEM は通常既に整列されていますが、小さなずれが発生する可能性があります。レイヤーの位置合わせは、zアライメントの自動パイプラインです。 モンタージュ複数のレイヤーは、ボリューム全体の各zスタックにタイルを配置するための自動化されたパイプラインです。多層モザイクを位置合わせすると、前の 2 つのオプションが組み合わされます。この操作は時間がかかり、マシンのランダム アクセス メモリ (RAM) の影響を受けます。スタックのサイズに応じて、ハイエンド コンピュータの使用を検討し、数時間/日の実行を許可します。 - 最後に、画像スタックをエクスポートし、マウスの右クリック> フラットイメージを作成して保存し、ドロップダウンメニューの[開始]と[終了]で最初から最後の画像を選択してください。
- TrakEM2 組み込み関数を使用して、必要に応じて対象のセグメント構造を使用します。
- TrakEM2 の GUI で、[テンプレート] ウィンドウの下にある [何でも右クリック] をクリックし、[新しい子を追加する > Area_list]を選択します。
- [プロジェクト オブジェクト]の下にあるフォルダの上に[何でも]をドラッグ アンド ドロップすると、1 つの[何でも]と表示されます。
- [プロジェクトオブジェクト] の下にある[プロジェクト] リストをテンプレートから [プロジェクト オブジェクト]にドラッグ アンド ドロップします。
- イメージ スタック ビューポートで、カーソルを使用してZ スペースを選択します。エリア リストが一意の ID 番号で表示されます。上部(右下)のブラシツールを選択し、マウスを使用して、z スタック全体にわたってサイトソルを充填して構造をセグメント化します。
- セグメント化されたマスクを、Z スペース リストの[エリア リスト]オブジェクトまたはビューポートのマスクを右クリックして彫刻用のシードとして ilastik で使用するマスクをエクスポートし、[エクスポート > エリア リストをラベル (tif))としてエクスポート] を選択します。
- 可能であれば、セグメント化と再構成に使用するソフトウェアのメモリ要件を考慮して、ダウンサンプリングによってイメージ スタックのピクセル サイズを小さくします。画像を使用 > 調整 > サイズ.
注:ilastikはxyウェル上で最大500ピクセルのスタックを処理します。また、ダウンサンプリングを行えば、スタックの解像度が低下します。したがって、オブジェクトが認識可能に表示される最小サイズを考慮に入れるため、セグメント化できます。 - コントラストを高め、セグメンテーションを助けるために、Unsharpマスクフィルターを適用して膜を鮮明にすることができます。プロセス > フィルタ > アンシャープ マスクを使用します。
- セグメンテーション ソフトウェア (ilastik など) でさらなる処理を行うために、イメージ スタックを単一のイメージとしてエクスポートします。> イメージ シーケンスを選択し、.tif 形式を選択します。
2. セグメント化(半自動)とilastik 1.3.2を用いた再構成
- メインの ilastik GUI で、彫刻モジュールを選択します。
- [新規追加]を使用してイメージ スタックを読み込みます。
- [ディレクトリ全体]を選択し、単一のファイルとして保存されたイメージ スタックを含むフォルダを選択します。新しいウィンドウの下部に、イメージを読み込むオプションが表示されている場合は、Zを選択したままにしておいてください。
- 次の手順では、すべての操作とボタンは、メイン ソフトウェア GUI の左側にあります。[前処理]タブで、既にチェックされている標準オプションを使用します。明るい線(リッジフィルタ)を使用し、フィルタスケールを1.600に保ちます。このパラメータは後で変更できます。
- 前処理が完了したら、[ラベル付け]モジュールのドロップダウン メニューで次のページを選択します。既定では、1 つのオブジェクトと 1 つの背景が存在します。
-
オブジェクトシードをクリックして選択し、対象の構造の上に線を描画します。次に、背景シードを選択し、再構築するオブジェクトの外側に 1 本または複数の線を描画します。次に、[セグメント] をクリックし、待機します。
注:コンピュータの電源とスタックのサイズによっては、セグメンテーションに数秒から数時間かかる場合があります。完了すると、セグメント化を強調表示する半透明のマスクがセグメント化された構造の上に表示されます。- スタックをスクロールしてセグメンテーションを確認します。セグメンテーションが正確でない可能性があり、関心のある構造に正確に従わなかったり、そこからこぼれたりする可能性があります。こぼれたセグメンテーションに背景シードを配置して、任意のスピルオーバーを修正し、対象オブジェクトの非再構築セグメントの上にオブジェクトシードを追加します。
- セグメンテーションがまだ正しくない場合は、[バイアス]パラメータを使用して変更を試み、承認された不確定な分類済みピクセルの量を増減します。デフォルトでは、値は 0.95 です。任意のこぼれを制限するためにそれを減らす(通常は0.9以下に)またはセグメンテーションが保守的すぎる場合(1まで)増加します。
- もう 1 つの可能性は、ステップ 2.4 に戻って (前処理をクリックして) し、フィルタのサイズを変更することです。値を大きくすると(例えば、2に)塩とコショウのノイズのような効果を最小限に抑えますが、膜がよりぼやけて、より小さな詳細を検出するのが難しくなります。これにより、波及が制限される可能性があります。
- 必要なすべてのオブジェクトがセグメント化されている限り、必要な限り繰り返します。オブジェクトが終了したら、[セグメント]の下にある[現在のオブジェクトを保存]をクリックします。2 つの新しいシードが表示され、新しいオブジェクトのセグメンテーションが開始されます。
- [すべてのメシをエクスポート] をクリックして、サーフェス のメシュを .obj ファイルとしてすぐに抽出します。
- さらに校正が必要な場合は、セグメンテーションをバイナリマスクとして抽出できます。[オブジェクトを参照] をクリックして、マスクを選択してエクスポートします。次に、セグメンテーション > エクスポートを右クリックし、[出力ファイル情報]の下で、tif シーケンスを形式として選択します。
3. TrakEM2 (フィジー) の校正/セグメンテーション(マニュアル)
- イメージ スタックを読み込み、ステップ 1.6.1 に次のように新しい TrekEM2 プロジェクトを作成します。
- イメージ スタックのインポートに使用するのと同じインポート メニューで使用できる[ラベルをエリアリストとして読み込む] オプションを使用して、校正が必要なマスクをインポートします。
- Z スペースに読み込まれるエリアリストを選択し、[ブラシ] ツールを使用してセグメンテーションを確認します。
- エリアリスト> 3Dで表示する右クリックでモデルを3Dで視覚化します。リサンプル番号を要求する次のウィンドウでは、値を大きいほど低解像度のメッシュが生成されます。
注:オブジェクトのサイズに応じて、通常は解像度と形態の詳細の間で最良の妥協を与える 4 と 6 の間の値を使用することを検討してください。 - メニューから選択して、3D メッシュを wavefront .obj としてエクスポートします。
4. 3D解析
- ブレンダーを開きます。次の手順では、NeuroMorph ツールキット (https://neuromorph.epfl.ch/index.html で入手可能) とグリコーゲン分析ツールキット (https://github.com/daniJb/glyco-analysis で入手可能) をインストールしてください。
- [シーン]メニューの下にある [オブジェクトのインポート]をクリックして、NeuroMorph バッチのインポートを使用してオブジェクトをインポートし、複数のオブジェクトを一度に読み込みます。[リメッシュとスムーズ シェーディングを使用] を有効にしてください。
注:オブジェクトの初期サイズに不確実性がある場合は、[再メッシュを確定]をクリックすることはお勧めしません。値 7 (既定値) のツリーの深さのインポートは、通常、オブジェクトの許容可能な解像度と形態を維持するのに適しています。 - アウトライナーから対象のオブジェクトを選択し、[モディファイヤ]メニューの下にあるリメッシュ関数のオクトツリーの深さを繰り返し変更して、頂点の数を最小限に抑え、解像度と正しい形態の詳細を失うことを避けます。オクツリーの深さを変更すると、メイン GUI のメッシュもそれに応じて変更されます。完了したら、[適用]をクリックしてプロセスを完了します。
注:4 の周りの値は、通常、小さなオブジェクト (後の密度など)、大きなオブジェクトの約 7 の値 (長い軸ゴンやデンドライトなど)、および異なる解像度の詳細が必要な完全なセルラー形態の場合は 8 または 9 の値に適しています。維持。 - 画像の重ね合わせツール[画像] スタックの相互作用を左パネルの[NeuroMorph]メニューの下で使用して、イメージ スタックを読み込みます。x、y、およびx(メッシュの単位に応じてミクロンまたはナノメートル) のイメージ スタックの物理サイズを入力し、Source_Zをクリックしてスタックのパスを選択してください。X と Y は直交平面です。これらはオプションであり、ユーザーが有効なパスを挿入した場合にのみ読み込まれます。
- 次に、ビューポート上のメッシュを右クリックして選択し、タブを押して編集モードに入り、マウスの右クリックを使用して 1 つ以上の頂点を選択し、最後に[頂点で画像を表示]をクリックします。マイクログラフを持つ 1 つ以上のカット平面がメッシュの上に重ねて表示されます。
- カット平面を右クリックして選択し、Ctrl + Yキーを押し、マウススクロールを使用して 3D モデルをスクロールします。これは、校正方法としても使用できます。
- 表面積、体積、長さの定量には測定ツールを使用します。これらの操作は、Jorstadら19および NeuroMorph ウェブサイト24によって詳細に文書化されています。
- グリコーゲン分析ツールを使用して、脊椎とブトンに対するグリコーゲンの近接性を定量化します。操作は、前のパブリケーション10およびグリコーゲン分析リポジトリ25の詳細に記載されています。
- [シーン]メニューの下にある [オブジェクトのインポート]をクリックして、NeuroMorph バッチのインポートを使用してオブジェクトをインポートし、複数のオブジェクトを一度に読み込みます。[リメッシュとスムーズ シェーディングを使用] を有効にしてください。
- GLAM23 を実行します。コード、実行可能ファイル、および一部のテスト ファイルは、GLAM リポジトリ26で使用できます。
- グリコーゲン顆粒を含む1つのソースファイルと、形態表面を含む1つのターゲットファイルの2つのジオメトリファイルを.ply形式で準備します。
- ローカル吸収値、ピーク値、および平均吸収値を表す 3 つの .ascii カラーマップ ファイル (t_norm(0.1) R(0.255) G(0.255) B(0.255)を含む 3 つの .ascii カラーマップ ファイルを準備します。
- 影響半径(ミクロン単位)、最大予想吸収値、吸収ピークをクラスタリングするための正規化しきい値を設定して、ジオメトリ ファイル (ステップ 4.2.1) とカラーマップ ファイル (ステップ 4.2.2) を使用して、C++ スクリプト GLAM を実行します。その他のパラメーターの詳細については、-help オプションを使用してスクリプトを実行してください。
- 結果を .ply ファイルまたは .obj ファイルとしてエクスポートします: GLAM 値でカラーマップされたターゲット オブジェクト、色分けされた球として表される吸収ピーク マーカー、および平均吸収値に対して色分けされたターゲット オブジェクト。
- VRデータインタラクションを開きます。VR データインタラクション実行可能コードは、パブリックリポジトリ27で利用できます。
- VR メニューの指示に従って、視覚化するメシをインポートします。GLAM 分析が必要な場合は、手順 4.2.1 で計算された .obj ファイルを必ずインポートしてください。
Representative Results
上記の手順を使用して、異なるサイズの 2 つのイメージ スタックで結果を表示し、ツールの柔軟性によってプロシージャをより大きなデータセットにスケールアップする方法を示します。この場合、2つの3DEMデータセットは(i)P14ラット、体感覚皮質、層VI、100 μm x 100 μm x 76.4 μm4および(ii)P60ラット、海馬CA1、7.07 μm x 6.75 μm x 4.73 μm10である。
前処理ステップ (図 1)は、両方のデータセットに対して同じ方法で実行できますが、最初のスタック (25 GB) などの大きなデータセットでは、大規模なデータの視覚化と処理を処理するために、より多くのパフォーマンスを発揮するハードウェアが必要であることを考慮に入れるだけで済みます。.2番目のスタックはわずか1 GBで、完全に等方性ボクセルサイズです。
データのサイズは、顕微鏡のセンサーの最大ピクセルサイズとスタックの倍率に依存するスタック自体の解像度ではなく、視野(FOV)に直接関連していない場合があります。いずれにせよ、論理的には、より大きなFOVは、同じ解像度で取得した場合、より小さなFOVに比べてより多くの物理スペースを占める可能性があります。
プロトコルのセクション1に示すように、画像スタックがインポートされると、フィジーソフトウェア(図1A)では、ImageJ12の科学的リリースでは、画像フォーマットが8ビット(図1B)であることを確認することが重要です。これは、多くの取得ソフトウェア異なる顕微鏡検査会社のプロデューサーが、取得プロセスに関する情報に関連するメタデータを格納するために、独自のファイル形式を16ビットで生成するためです(ピクセルサイズ、厚さ、電流/電圧)電子ビーム、室内圧)を画像スタックと共に。このような調整により、メタデータを含む余分な 8 ビットがイメージに影響を与えないため、科学者はメモリを節約できます。チェックする2番目の重要なパラメータはボクセルサイズで、セグメンテーション後の再構成を正しいスケール(マイクロメートルまたはナノメートル)で実行することができます。図 1B)。
スタックがタイルを使用して取得されている場合は、再配置やステッチが必要になる場合があります。これらの操作は TrakEM2 (図 2A)内で実行できますが、再編成に関しては、FIB-SEM や 3View などの自動化された 3DEM 手法は通常適切に再調整されます。
最後のステップでは、再構築する必要があるオブジェクトと、ダウンサンプリングが再構築可能なフィーチャの認識に影響を与えるかどうかに応じて、スタックのフィルタリングとダウンサンプリングが必要になります。例えば、より大きなスタック(P14ラットの体感覚皮質)については、再構成効率の利益のために分解能を損なうことはできず、一方、より小さなスタック(P60ラットの海馬CA1)については、そうすることが可能であった。解像度が最小のオブジェクトを再構築するために必要な解像度をはるかに上回っていたためです。最後に、アンシャープマスクの使用は、膜と背景の違いを高め、境界線を事前に評価するために勾配を使用するilastikのようなソフトウェアの再構築に有利になります。
画像処理に続いて、TrakEM2を使用して手動で再構成を行うか、ilastik (図 2C)を使用して半自動で再構成を実行できます。ここにリストされている小さいデータセット (ii) のようなデータセットは、メモリに収まるようにダウンサンプリングでき、ilastik (図 2B)を使用して完全にセグメント化して、高密度の再構成を生成できます。ここに記載されている最初のデータセット(i)の場合、500 GBのRAMを搭載したLinuxワークステーションでデータセット全体をロードして前処理することができました。16のフルモルフォロジーのスパースセグメンテーションは、TrakEM2を使用して手動で校正された大まかなセグメンテーションを抽出することにより、ハイブリッドパイプラインで得られた。
表面積、体積、または細胞内グリコーゲンの分布などの特徴の3D解析は、NeuroMorph19またはグリコーゲン分析10などのカスタムコードを使用してBlender環境(図3)内で行うことができます。
グリコーゲン顆粒を含むデータセットの場合も、その分布の分析は、メッシュ上に直接影響領域を持つカラーマップを生成するC++コードであるGLAMを使用して推論することができます。
最後に、このような複雑なデータセットをVRを使用して視覚化および分析することができ、特定の遮蔽されたビューを持つデータセットの分析に役立つことが証明されています(図4)。例えば、GLAMマップから推測されたピークは、ここで説明する2番目のデータセットのデンドライトから容易に推測された。
図1:画像セグメンテーションの画像処理と準備(a)メインフィジー GUI.(b)代表的な結果で議論したデータセット(i)からの積み上げ画像の例。右側のパネルには、ボクセルサイズを設定できるプロパティが表示されます。(c)1 つのイメージに適用されるファイラーとサイズ変更操作の例。右側のパネルは、画像の中央から倍率を示します。この図のより大きなバージョンを表示するには、ここをクリックしてください。
図2:TrakEM2およびilastik. (a)TrakEM2 GUIを使用したセグメント化と再構成(赤色)。(b)パネルaから書き出されたマスクは、(c)半自動セグメンテーション(彫刻)の入力(シード)として使用することができます。ilastikから、マスク(赤)は手動校正のためにTrakEM2にさらにエクスポートすることができる。(d)マスクを 3D 三角形のメシュとして書き出して、再構築された構造を明らかにすることができます。この例では、データセット(i)からの4つのニューロン、星状細胞、ミクログリア、およびペリサイト(代表的な結果で論論される)をこのプロセスを用いて再構成した。この図のより大きなバージョンを表示するには、ここをクリックしてください。
図3:カスタマイズされたツールを用いて再構成された形態の3D解析(a) FIB-SEMデータセット(ii)からの等方性画像体積(代表的な結果で論じられるように)。(b)パネルからの緻密な再構成.グレー = 軸数;緑 = 占星状プロセス;青 =デンドライト。(c)シナプス(データセット(i))や天体グリコーゲン顆粒(データセット(ii))などの定量化対象の例を右倍率で示す顕微鏡写真。(d)シナプスの周りのグリコーゲン顆粒の分布を示すパネルcからのマスク。(e)ブレンダーのグリコーゲン分析ツールボックスを用いて、パネルcからのデータセットからのグリコーゲン分布の定量化。エラー バーは、標準エラーを示します。N = 4,145 グリコーゲン顆粒。(f)GLAM の入出力ビジュアライゼーションの図。この図のより大きなバージョンを表示するには、ここをクリックしてください。
図4:VRにおける分析。(a)FIB-SEMデータセット(ii)からの緻密な再構成(代表的な結果で説明されているように)に取り組んでいる間にVRヘッドセットを装着したユーザー。(c)パネルbからの神経突起のサブセットからの没入型VRシーン。緑色のレーザーが GLAM のピークを指しています。(d)VRにおけるGLAMピークカウントからの分析例。N = 各バーあたり3匹のマウス。前の出版物28からのFIB-SEMの分析。エラー バーは標準エラーを示します。*p < 0.1、片道分散分析。この図のより大きなバージョンを表示するには、ここをクリックしてください。
Discussion
ここで説明する方法は、FIB-SEM などの高解像度イメージング技術またはその他の自動シリアル断面およびイメージング技術から来ているかどうかにかかわらず、マルチスケール EM データセットのセグメンテーションと 3D 再構築に役立つステップ バイ ステップ ガイドです。FIB-SEMは、焦点を合わせられたイオンビームを使用して5nmの薄いセクションを切断することにより、ボクセルサイズで完全な等方性に達する可能性があるという利点があり、FOVは、FOの場合はカットティッシュの堆積に起因する可能性のある側アーティファクトのために15〜20 μmに制限される可能性があります。V がこの値を超えています。このようなアーティファクトは、ダイヤモンドナイフを使用して顕微鏡室内のシリアルセクションを切断するSBEMなどの他の技術を使用して回避することができます。この後者の場合、z解像度は最高で約 20 nm (通常は 50 nm) ですが、FOV は大きくなる可能性がありますが、目的の領域ではピクセル解像度が損なわれる必要があります。このような制限(倍率対FOV)を克服するための1つの解決策は、タイルに関心のある領域を分割し、より高い解像度でそれらのそれぞれを取得することです。ここでは、代表結果の SBEM スタック データセット (i) と代表的な結果の FIB-SEM スタック データセット (ii) の両方の結果を示しました。
より大きなデータセットや大規模なデータセットの生成がますます一般的になるにつれて、ピクセル分類と自動画像セグメンテーションのためのツールを作成する取り組みが増えています。それにもかかわらず、現在までに、人間の校正に匹敵する信頼性を証明したソフトウェアは存在しないため、どんなに時間がかかるとしても、依然として必要です。一般に、データセット (ii) の場合のように、ダウンサンプリングできる小さなデータセットは、校正時間を含め、1 週間に 1 人のエキスパート ユーザーによって密集して再構築できます。
ここで提示されるプロトコルは、特にフィジー(バージョン2.0.0-rc-65/1.65b)、ilastik(バージョン1.3.2 rc2)、ブレンダー(2.79)の3つのソフトウェアプログラムを使用することを含みます。フィジーは、生物学的画像解析のためのプラグインを搭載したImageJのリリースです。それは堅牢なソフトウェアアーキテクチャを持っており、生命科学者のための共通のプラットフォームであり、画像セグメンテーションのための最初で最も広く使用されているプラグインの1つであるTrakEM2が含まれているので示唆されています。最近多くのユーザーが経験する問題の 1 つは、互換性の問題を引き起こし、Java 6 から Java 8 への移行です。したがって、フィジーが正常に動作できるように、可能であれば Java 8 への更新を控えることをお勧めします。ilastikは、ピクセル分類のためのフレームワークの数を提供する強力なソフトウェアです, それぞれが文書化され、彼らのウェブサイト上で説明.EMスタックの半自動セグメンテーションに使用される彫刻モジュールは、多くの時間を節約できるため便利であり、経験豊富なユーザーの手作業に費やす時間を数ヶ月から数日に短縮できます。秒単位でセグメント化されます。前処理ステップはハードウェアの観点からは非常に強く、ここで示す SBEM スタック (26 GB) のような非常に大きなデータセットは、メモリに収まるように特殊な戦略を必要とします。妥協の視野と解決策。したがって、この場合、ダウンサンプリングは適切なソリューションではない可能性があります。ソフトウェアの最新リリースは、強力なLinuxワークステーションで数時間で前処理を行うことができますが、セグメンテーションには数分かかるでしょうし、スタックをスクロールしても比較的遅くなります。この方法は、TrakEM2 を使用して最初の大まかなセグメンテーションに使用し、校正を行います。最後に、Blenderは、NeuroMorphやグリコーゲン分析などのアドオンとしてメインGUIに埋め込むことができるPythonスクリプトでカスタマイズできる強力な3Dレンダリングエンジンを備えた3Dモデリングソフトウェアです。このソフトウェアの柔軟性には、例えばフィジーとは対照的に、大規模なデータセットのオンラインビジュアライゼーション用に設計されていないという欠点があります。したがって、大きなメシ (1 GB を超える) を視覚化してナビゲートすると、時間がかかり、効率的でない場合があります。このため、メッシュの複雑さを軽減するが、対象とする構造の元の形態を妨げないように注意する手法を選択することをお勧めします。リメッシュ機能は便利で、NeuroMorph バッチインポートツールの埋め込み機能です。この関数の問題は、元のメッシュの頂点の数に応じて、最終的な解像度に関連するオクトツリーの深度値をそれに応じて変更する必要があることです。小さなオブジェクトは小さなオクトツリーの深さ(例えば4)で再メッシュできますが、同じ値は、より大きな値を必要とする大きなオブジェクトの形態を破壊する可能性があります(フルセルなどの非常に大きなメッシュの場合は、最高で6~8、または9)。オブジェクトのサイズが明確でない場合は、このプロセスを反復的に行い、異なるオクトツリーの深さをテストすることをお勧めします。
前述のように、考慮すべき 1 つの側面は、使用されているソフトウェアに関連する再構築と分析に専念する計算能力です。この原稿の代表的な結果に示されているすべての操作は、AMD FirePro D500グラフィックスカード、64 GBのRAM、および8コアを搭載したインテルXeon E5 CPUを搭載したMacProを使用して得られました。フィジーは、大規模なデータセットを処理するための優れたソフトウェア アーキテクチャを備えています。したがって、2.5 GHz Intel i7 CPU と 16 GB の RAM を搭載した MacBook Pro など、ハードウェアパフォーマンスの優れたラップトップを使用することをお勧めします。ilastik ソフトウェアは、特に前処理ステップの間に、ハードウェア リソースの面でより厳しいです。イメージ スタックのダウンサンプリングは、ソフトウェアからのハードウェア要求を制限し、ユーザーがラップトップでスタックを処理できるようにする良いトリックですが (通常、x、y、zで 500 ピクセル未満の場合)、ハイエンドの使用を推奨します。このソフトウェアをスムーズに実行するためのコンピュータ。私たちは、16コアと500 GBのRAMを搭載したインテルXeon Gold 6150 CPUを搭載したワークステーションを使用しています。
正確な3D再構成を提供すると、科学者は元の顕微鏡写真を廃棄し、3Dモデル上で直接作業して、同じタイプの細胞と異なるタイプの細胞を比較するために有用な形態測定データを抽出し、VRを利用することができます。形態学の定性的および定量的評価。特に、後者の使用は、視覚的閉塞を提示する緻密または複雑な形態の分析の場合に有益であることが証明されている(すなわち、観察者とfiの間に置かれた第2の3D空間における対象物の視界の閉塞rst オブジェクト)を使用すると、3D での表現や解析が困難になります。この例では、経験豊富なユーザーがデータセットを観察し、オブジェクトをカウントするのに約 4 時間かかっていました。VR分析に費やす時間は、VRの病気(ある程度は車の病気に関連する可能性がある)がユーザーエクスペリエンスに悪影響を及ぼす可能性があるため、異なる場合があります。この場合、ユーザーは他の分析ツールを好み、VR 専用の時間を制限する可能性があります。
最後に、これらすべてのステップは、画像スタックを生成する他の顕微鏡検査および非EM技術に適用することができる。EMは、一般的に、バイナリマスク(信号対黒の背景)に匹敵するもの、原則的に3Dで容易にレンダリングすることができる蛍光顕微鏡と比較して、処理とセグメント化が困難な画像を生成します。多くの場合、処理を行う必要があります。
Disclosures
著者は何も開示していない。
Acknowledgments
この研究は、キング・アブドゥッラー科学技術大学(KAUST)競争研究助成金(CRG)がP.J.Mに「脳エネルギー代謝の統合モデリングのためのKAUST-BBPアライアンス」を助成しました。
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
