Eine Methode zur 3D-Rekonstruktion und Virtual Reality-Analyse von Glia- und Neuronalzellen

Summary

Die beschriebene Pipeline ist für die Segmentierung von Elektronenmikroskopie-Datensätzen größer als Gigabyte konzipiert, um Ganzzellmorphologien zu extrahieren. Sobald die Zellen in 3D rekonstruiert sind, kann kundenspezifische Software, die auf individuelle Bedürfnisse zugeschnitten ist, verwendet werden, um eine qualitative und quantitative Analyse direkt in 3D durchzuführen, auch mit virtueller Realität, um Die Sichtokklusion zu überwinden.

Abstract

Serielle Schnitte und anschließende hochauflösende Bildgebung von biologischem Gewebe mittels Elektronenmikroskopie (EM) ermöglichen die Segmentierung und Rekonstruktion von hochauflösenden bildnerten Stapeln, um ultrastrukturelle Muster zu enthüllen, die mit 2D nicht gelöst werden konnten. Bilder. Letzteres könnte zu einer Fehlinterpretation von Morphologien führen, wie im Fall von Mitochondrien; Die Verwendung von 3D-Modellen wird daher immer häufiger und auf die Formulierung morphologiebasierter Funktionshypothesen angewendet. Bis heute macht die Verwendung von 3D-Modellen, die aus Licht- oder Elektronenbildstapeln generiert werden, qualitative, visuelle Bewertungen sowie Quantifizierungen, die bequemer sind, direkt in 3D durchgeführt zu werden. Da diese Modelle oft extrem komplex sind, ist es auch wichtig, eine Virtual-Reality-Umgebung einzurichten, um Okklusion zu überwinden und die 3D-Struktur voll auszuschöpfen. Hier wird eine Schritt-für-Schritt-Anleitung von der Bildsegmentierung bis zur Rekonstruktion und Analyse ausführlich beschrieben.

Introduction

Das erste vorgeschlagene Modell für eine Elektronenmikroskopie, das automatisierte serielle Abschnitte und Bildgebungermöglicht, stammt aus dem Jahr 1981¹; die Verbreitung solcher automatisierten, verbesserten Setups zum Abbild großer Proben mit EM nahm in den letzten zehn Jahren^{zu 2,3}, und Werke, die beeindruckende dichte Rekonstruktionen oder vollständige Morphologien unmittelbar^gefolgt4 , ^5,6,7,8,9,10.

Die Produktion großer Datasets war mit der Notwendigkeit verbesserter Pipelines für die Bildsegmentierung erforderlich. Software-Tools zur manuellen Segmentierung von seriellen Abschnitten wie RECONSTRUCT und TrakEM2^11,12wurden für die Transmissionselektronenmikroskopie (TEM) entwickelt. Da der gesamte Prozess extrem zeitaufwändig sein kann, sind diese Werkzeuge nicht geeignet, wenn es um die Tausenden von seriellen Mikrographen geht, die automatisch mit modernsten, automatisierten EM-Serienabschnittstechniken (3DEM) generiert werden können, wie z. B. Block-Face-Scanning-Elektronenmikroskopie (SBEM)³ oder fokussierte Ionenstrahl-Scanning-Elektronenmikroskopie (FIB-SEM)². Aus diesem Grund haben sich die Wissenschaftler um die Entwicklung halbautomatisierter Werkzeuge sowie vollautomatisierter Werkzeuge bemüht, um die Segmentierungseffizienz zu verbessern. Vollautomatisierte Tools, basierend auf maschinellem Lernen¹³ oder modernsten, untrainierten Pixelklassifizierungsalgorithmen¹⁴, werden verbessert, um von einer größeren Community verwendet zu werden; Dennoch ist die Segmentierung noch lange nicht vollständig zuverlässig, und viele Arbeiten basieren immer noch auf manueller Arbeit, die in Bezug auf die Segmentierungszeit ineffizient ist, aber dennoch absolute Zuverlässigkeit bietet. Halbautomatische Tools wie ilastik¹⁵stellen einen besseren Kompromiss dar, da sie eine sofortige Auslesung für die Segmentierung bieten, die bis zu einem gewissen Grad korrigiert werden kann, obwohl sie kein echtes Korrektur-Reading-Framework bietet und integriert werden kann TrakEM2 parallel¹⁶verwenden.

Die großflächige Segmentierung ist bisher meist auf Diekomik beschränkt; Daher sind Informatiker am meisten daran interessiert, Frameworks für integrierte Visualisierungen großer, anmerkungierter Datensätze bereitzustellen und Konnektivitätsmuster zu analysieren, die durch das Vorhandensein synaptischer Kontakte abgeleitet werden^17,18. Dennoch können genaue 3D-Rekonstruktionen für quantitative morphometrische Analysen verwendet werden, anstatt qualitative Bewertungen der 3D-Strukturen. Werkzeuge wie NeuroMorph^19,20 und Glykogenanalyse¹⁰ wurden entwickelt, um Messungen an den 3D-Rekonstruktionen für Längen, Oberflächen und Volumen sowie an der Verteilung von Wolkenpunkten vollständig zu machen. verwerfen den ursprünglichen EM-Stack^8,10. Astrozyten stellen eine interessante Fallstudie dar, da der Mangel an visuellen Hinweisen oder sich wiederholenden Strukturmustern den Forschern einen Hinweis auf die Funktion einzelner Struktureinheiten und das daraus resultierende Fehlen einer angemessenen Ontologie astrozytotiver Prozesse gibt. ²¹, machen es schwierig, analyseanalytische Werkzeuge zu entwerfen. Ein neuerVersuch war Abstractocyte²², die eine visuelle Erforschung astrozytischer Prozesse und die Rückschlüsse auf qualitative Beziehungen zwischen astrozytischen Prozessen und Neuriten ermöglicht.

Dennoch ergibt sich die Bequemlichkeit der Bildgebung von geschnittenem Gewebe unter EM aus der Tatsache, dass die Menge an Informationen, die in intakten Gehirnproben verborgen sind, enorm ist und die Interpretation von Einzelabschnittsbildern dieses Problem überwinden kann. Die Dichte der Strukturen im Gehirn ist so hoch, dass 3D-Rekonstruktionen von nur wenigen Objekten, die auf einmal sichtbar sind, es unmöglich machen würden, sie visuell zu unterscheiden. Aus diesem Grund haben wir vor kurzem die Verwendung von Virtual Reality (VR) als verbesserte Methode zur Beobachtung komplexer Strukturen vorgeschlagen. Wir konzentrieren uns auf Astrozyten^23, um Okklusion zu überwinden (d.h. die Blockierung der Sichtbarkeit eines Objekts von Interesse mit einem zweiten, in einem 3D-Raum) und qualitative Bewertungen der Rekonstruktionen, einschließlich Korrekturlesen, sowie Quantifizierungen zu erleichtern. von Features mit der Anzahl der Punkte im Raum. Kürzlich haben wir DIE visuelle VR-Exploration mit der Verwendung von GLAM (Glykogen-abgeleitetem Laktat-Absorptionsmodell) kombiniert, einer Technik zur Visualisierung einer Karte der Laktat-Shuttle-Wahrscheinlichkeit von Neuriten, indem Glykogengranulat als lichtemittierende Körper²³betrachtet wird; Insbesondere haben wir VR verwendet, um die von GLAM erzeugten Lichtspitzen zu quantifizieren.

Protocol

1. Bildverarbeitung mit Fidschi

1. Öffnen Sie den Bildstapel, indem Sie die systemeigene Datei aus dem Mikroskop, das den Stapel enthält, ziehen und ablegen, oder indem Sie den Ordner, der den gesamten Bildstapel enthält, in das Softwarefenster ziehen und ablegen.
   HINWEIS: Fidschi ist in der Lage, automatisch alle Standard-Bildformate wie .jpg, .tif und .png sowie proprietäre Dateiformate von Mikroskopanbietern zu erkennen. Obwohl das folgende Protokoll für Bildstapel von 3DEM optimiert wurde, können diese Schritte auch für Light-Mikroskopie-Datasets verwendet werden.
2. Nachdem der Stapel geöffnet wurde, gehen Sie zu Bild > Eigenschaften, um sicherzustellen, dass die Voxelgröße aus den Metadaten gelesen wurde. Ist dies nicht der Fall, kann es manuell eingegeben werden.
3. Stellen Sie sicher, dass Sie das Bild in 8-Bit umwandeln. Klicken Sie auf Bild > Typ und wählen Sie 8-Bit aus.
4. Wenn sich der ursprüngliche Stapel in verschiedenen sequenziellen Dateien/Ordnern befand, verwenden Sie Concatenate, um sie in einem einzelnen Stapel zusammenzuführen, indem Sie Bild > Stapel > Werkzeuge > Concatenateauswählen.
5. Speichern Sie den Stapel, indem Sie Datei > Speichern unterauswählen. Es wird als einzelne .tif-Datei gespeichert und kann als Backup und zur Weiterverarbeitung verwendet werden.
6. Wenn der ursprüngliche Stapel als verschiedene Kacheln erworben wird, wenden Sie Die Nähte in TrakEM2 an.
   1. Erstellen Sie ein neues TrakEM2-Projekt mit New > TrakEM2 (leer).
   2. Importieren Sie die Stacks innerhalb des Ansichtsfensters (Graphic User Interface, GUI), indem Sie auf die rechte Maustaste klicken > Stack importieren > Stapel importieren, und importieren Sie alle Kacheln, die in der Fidschi-Haupt-GUI geöffnet wurden. Stellen Sie sicher, dass Sie die Größe der Canvas-Größe an den gesamten Stapel anpassen, indem Sie mit der rechten Maustaste > Anzeigen > Canvas/Layer-Setändern klicken, und wählen Sie die Pixelgröße y/x in Abhängigkeit von der endgültigen Größe der Montage aus.
      HINWEIS: Wenn die Montage beispielsweise mit vier Kacheln von 4.096 x 4.096 Pixeln abgeschlossen werden soll, sollte die Leinwandgröße mindestens 8.192 x 8.192 Pixel betragen. Erwägen Sie, es etwas größer zu machen, und schneiden Sie es später.
   3. Überlagern Sie die gemeinsamen Teile einzelner Kacheln, indem Sie sie auf den Layer-Satz ziehen und ablegen. Verwenden Sie den linken schieberegler oben, um die Transparenz zu ändern, um bei der Überlagerung zu helfen.
   4. Montage und Neuausrichtung der Stapel durch Klicken auf die rechte Maustaste > Ausrichten, und wählen Sie dann eine der Optionen (siehe Hinweis unten).
      HINWEIS: SBEM oder FIB-SEM sind in der Regel bereits gut ausgerichtet, aber es können kleinere Fehlausrichtungen auftreten. Layer ausrichten ist die automatisierte Pipeline für die Z-Ausrichtung; Montage mehrerer Ebenen ist die automatisierte Pipeline zum Ausrichten von Kacheln auf jedem z-Stack für das gesamte Volume. Das Mehrschichtmosaik "Mehrschichtenmosaik" kombiniert die beiden vorherigen Optionen. Dieser Vorgang ist zeitaufwändig und unterliegt dem Ram(e) des Computers mit zufälligem Zugriff. Erwägen Sie die Verwendung eines High-End-Computers und lassen Sie ihn stunden-/tagelang laufen, abhängig von der Größe des Stapels.
   5. Schließlich exportieren Sie die Bildstapel und speichern Sie sie mit der Maus rechtsklicken > Flaches Bild erstellen, und stellen Sie dann sicher, dass Sie das erste bis zum letzten Bild in den Dropdown-Menüs Start und Endauswählen.
   6. Mit TrakEM2 Embedded-Funktionen, Segmentstrukturen von Interesse, wenn nötig.
      1. Klicken Sie in der GUI des TrakEM2 mit der rechten Maustaste auf Alles unter dem Fenster Vorlage, und wählen Sie Neues untergeordnetes Element hinzufügen > Area_list.
      2. Ziehen Sie alles über dem Ordner unter Projektobjekte,und dort wird ein Anything angezeigt.
      3. Ziehen Sie die Bereichsliste aus der Vorlage in die Unterlage unter Projektobjekte.
      4. Wählen Sie im Bildstapel-Ansichtsfenster den Z-Bereich mit dem Cursor aus. Die Bereichsliste wird mit einer eindeutigen ID-Nummer angezeigt. Wählen Sie das Pinselwerkzeug oben (unten rechts) und verwenden Sie die Maus, um eine Struktur zu segmentieren, indem Sie ihr Zytosol über den gesamten z-Stack füllen.
      5. Exportieren Sie die segmentierte Maske, die in ilastik als Seed zum Schnitzen verwendet werden soll, indem Sie entweder auf das Flächenlistenobjekt in der Z-Raumliste oder auf die Maske im Ansichtsfenster klicken, und wählen Sie Export > Flächenlisten als Beschriftungen (tif)aus.
7. Abhängig von der Auflösung, die für weitere Rekonstruktionen benötigt wird, reduzieren Sie nach Möglichkeit die Pixelgröße des Bildstapels durch Downsampling unter Berücksichtigung der Speicheranforderungen der Software, die für die Segmentierung und Rekonstruktion verwendet wird. Verwenden Sie Bild > Anpassen > Größe.
   HINWEIS: ilastik verarbeitet Stapel von bis zu 500 Pixeln auf xy gut. Außerdem wird Downsampling die Auflösung des Stapels reduzieren. berücksichtigen Sie daher die Mindestgröße, bei der das Objekt noch erkennbar erscheint und somit segmentiert werden kann.
8. Um den Kontrast zu erhöhen und die Segmentierung zu unterstützen, kann der Unsharp-Maskenfilter angewendet werden, um Membranen knackiger zu machen. Verwenden Sie Prozess > Filter > Unscharfe Maske.
9. Exportieren Sie den Bildstapel als Einzelabbilder zur weiterverarbeitung in der Segmentierungssoftware (z. B. ilastik) mit Datei > Speichern unter... > Bildsequenz und wählen Sie .tif Format.

2. Segmentierung (halbautomatisiert) und Rekonstruktion mit ilastik 1.3.2

1. Wählen Sie in der Haupt-Ilastik-GUI das Carving-Modul aus.
2. Laden Sie den Bildstapel mit Hinzufügen von Neu > Hinzufügen eines einzelnen 3D/4D-Volumes aus der Sequenz.
3. Wählen Sie Das gesamte Verzeichnis aus, und wählen Sie den Ordner aus, der den als einzelne Dateien gespeicherten Image-Stack enthält. Achten Sie am unteren Rand des neuen Fensters, in dem Optionen zum Laden der Bilder vorhanden sind, darauf, dass Z ausgewählt bleibt.
4. Für die folgenden Schritte finden Sie alle Operationen und Schaltflächen auf der linken Seite der Hauptsoftware-GUI. Verwenden Sie auf der Registerkarte Vorverarbeitung die bereits geprüften Standardoptionen. Verwenden Sie helle Linien (Gratfilter) und halten Sie die Filterskala bei 1.600. Dieser Parameter kann anschließend geändert werden.
5. Nachdem die Vorverarbeitung abgeschlossen ist, wählen Sie die nächste Seite im Dropdown-Menü des Etikettierungsmoduls aus. Ein Objekt und ein Hintergrund sind standardmäßig vorhanden.
6. Wählen Sie den Objektkern aus, indem Sie darauf klicken, und zeichnen Sie eine Linie über der Interessenstruktur. Wählen Sie dann den Hintergrundkern aus, und zeichnen Sie eine oder mehrere Linien außerhalb des zu rekonstruierenden Objekts. Klicken Sie dann auf Segment, und warten Sie.
   HINWEIS: Abhängig von der Leistung des Computers und der Größe des Stapels kann die Segmentierung einige Sekunden bis Stunden dauern. Sobald dies geschehen ist, sollte eine halbtransparente Maske, die die Segmentierung hervorhebt, über der segmentierten Struktur angezeigt werden.
   1. Führen Sie einen Bildlauf durch den Stapel durch, um die Segmentierung zu überprüfen. Die Segmentierung ist möglicherweise nicht genau und folgt nicht der Konstruktion des Interesses genau oder verschüttet sich aus ihr. Korrigieren Sie ein Überlauf, indem Sie einen Hintergrundkern auf der verschütteten Segmentierung platzieren, und fügen Sie einen Objektkern über das nicht rekonstruierte Segment des Objekts des Objekts hinzu.
   2. Wenn die Segmentierung immer noch nicht korrekt ist, versuchen Sie, mit dem Parameter Bias zu ändern, wodurch die Anzahl der unsicheren klassifizierten Pixel als akzeptiert erhöht oder verringert wird. Sein Wert ist standardmäßig 0,95; verringern, um ein Übergreifen zu begrenzen (in der Regel auf nicht weniger als 0,9) oder erhöhen Sie, wenn die Segmentierung zu konservativ ist (bis zu 1).
   3. Eine weitere Möglichkeit besteht darin, zu Schritt 2.4 zurückzukehren (durch Anklicken von Vorverarbeitung) und die Größe des Filters zu ändern; Durch die Erhöhung des Wertes (z. B. auf 2) werden die salz-und-pfeffer-rauschähnlichen Effekte minimiert, aber auch Membranen verschwommener und kleinere Details schwerer zu erkennen. Dies kann das Übergreifen begrenzen.
7. Wiederholen Sie so viel wie nötig, solange alle gewünschten Objekte segmentiert wurden. Sobald ein Objekt fertig ist, klicken Sie auf Aktuelles Objekt speichernunter Segment. Zwei neue Samen werden angezeigt, um die Segmentierung eines neuen Objekts zu beginnen.
8. Extrahieren Sie Flächennetze sofort als .obj-Dateien, indem Sie auf Alle Netze exportierenklicken.
9. Wenn weiteres Korrekturlesen erforderlich ist, kann die Segmentierung als binäre Masken extrahiert werden. Wählen Sie die Maske aus, um sie zu exportieren, indem Sie auf Objekte durchsuchen klicken. Klicken Sie dann mit der rechten Maustaste auf Segmentierung > Exportieren und wählen Sie dann unter Ausgabedateiinfo die tif-Sequenz als Format aus.

3. Korrekturlesen/Segmentierung (Manuell) in TrakEM2 (Fidschi)

1. Laden Sie den Bildstapel, und erstellen Sie ein neues TrekEM2-Projekt gemäß Schritt 1.6.1.
2. Importieren Sie die Masken, die Korrekturlesen benötigen, indem Sie die Option Beschriftungen als Flächenlisten importierenimportieren, die im gleichen Importmenü verfügbar sind, das zum Importieren des Bildstapels verwendet wird.
3. Wählen Sie die im Z-Bereich importierte Flächenliste aus, und verwenden Sie das Pinselwerkzeug, um die Segmentierung zu überprüfen.
4. Visualisieren Sie das Modell in 3D, indem Sie mit der rechten Maustaste auf die Flächenliste > In 3D anzeigenklicken. Im folgenden Fenster, in dem nach einer Resample-Nummer gefragt wird, generiert ein höherer Wert ein Netz mit niedrigerer Auflösung.
   HINWEIS: Abhängig von der Größe des Objekts sollten Sie einen Wert zwischen 4 und 6 verwenden, der in der Regel den besten Kompromiss zwischen Auflösung und morphologischen Details darstellt.
5. Exportieren Sie das 3D-Netz als Wavefront .obj, indem Sie aus dem Menü Datei > Flächen exportieren > Wavefrontauswählen.

4. 3D-Analyse

1. Öffnen Sie Blender. Für die folgenden Schritte müssen Sie das NeuroMorph-Toolkit (verfügbar unter https://neuromorph.epfl.ch/index.html) und das Glykogenanalyse-Toolkit (verfügbar unter https://github.com/daniJb/glyco-analysis) installieren.
   1. Importieren Sie die Objekte mithilfe des NeuroMorph-Stapelimports, indem Sie im Menü Szene auf Objekte importieren klicken, um mehrere Objekte gleichzeitig zu importieren. Stellen Sie sicher, dass Sie Use remesh und Smooth Schattingaktivieren.
      HINWEIS: Es wird nicht empfohlen, auf Finalize remesh zu klicken, wenn Unsicherheit über die ursprüngliche Größe des Objekts besteht. Importbaumtiefe bei Wert 7 (Standard) ist in der Regel gut, um eine akzeptable Auflösung und Morphologie des Objekts beizubehalten.
   2. Wählen Sie das Objekt des Interesses aus dem Outliner aus, und ändern Sie die octree-Tiefe der Remesh-Funktion unter dem Menü Modifiers iterativ, um die Anzahl der Scheitelpunkte zu minimieren und zu vermeiden, dass Details in Auflösung und korrekter Morphologie verloren gehen. Wenn Sie die octree-Tiefe ändern, ändert sich das Netz in der Haupt-GUI entsprechend. Sobald Sie fertig sind, klicken Sie auf Bewerben, um den Prozess zu abschließen.
      HINWEIS: Werte um 4 sind in der Regel gut für kleine Objekte (z. B. postsynaptische Dichten), Werte um 7 für größere (z. B. lange Axone oder Dendriten) und Werte um 8 oder 9 für vollständige zelluläre Morphologien, bei denen Details unterschiedlicher Auflösungen Gepflegt.
   3. Verwenden Sie das Bildüberlagerungstool Bildstapelinteraktionen im linken Bereich unter dem NeuroMorph-Menü, um den Bildstapel zu laden. Achten Sie darauf, die physische Größe des Bildstapels für x, yund x (in Mikrometern oder Nanometern, abhängig von den Einheiten des Netzes) einzugeben und den Pfad des Stapels auszuwählen, indem Sie auf Source_Zklicken. X und Y sind orthogonale Ebenen; Sie sind optional und werden nur geladen, wenn der Benutzer einen gültigen Pfad einfügt.
   4. Wählen Sie dann ein Netz im Ansichtsfenster aus, indem Sie mit der rechten Maustaste darauf klicken, in den Bearbeitungsmodus wechseln, indem Sie Tabdrücken, einen (oder mehrere) Scheitelpunkte per Mausklick auswählen und schließlich auf Bild am Scheitelpunktanzeigen klicken. Eine (oder mehrere) Schnittebene(n) mit dem Mikrographen erscheint überdem auf dem Netz.
   5. Wählen Sie die Schnittebene aus, indem Sie mit der rechten Maustaste darauf klicken, drücken Sie Strg + Y, und scrollen Sie mit dem Mausscroll über das 3D-Modell. Dies kann auch als Korrekturlesemethode verwendet werden.
   6. Verwenden Sie Messwerkzeuge für die Quantifizierung von Flächen, Volumen und Längen. Diese Operationen werden von Jorstad et al.¹⁹ und auf der NeuroMorph Website²⁴dokumentiert.
   7. Verwenden Sie das Glykogenanalysetool zur Quantifizierung der Glykogennähe zu Stacheln und Boutons. Die Vorgänge werden in einer früheren Publikation¹⁰ und im Glykogenanalyse-Repository²⁵ausführlicher dokumentiert.
2. Führen Sie GLAM²³aus. Der Code, die ausführbare Datei und einige Testdateien sind im GLAM-Repository²⁶verfügbar.
   1. Bereiten Sie zwei Geometriedateien im .ply-Format vor: eine Quelldatei, die Glykogengranulatenthält, und eine Zieldatei, die die Morphologieoberflächen enthält.
   2. Bereiten Sie drei .ascii Colormap-Dateien (jede Zeile mit t_norm(0..1) R(0..255) G(0..255) B(0..255)) für die Darstellung lokaler Absorptionswerte, Spitzenwerte und durchschnittlicher Absorptionswerte vor.
   3. Führen Sie das C++-Skript GLAM mit den Geometriedateien (Schritt 4.2.1) und Colormap-Dateien (Schritt 4.2.2) aus, indem Sie den Einflussradius (in Mikrometern), den maximal erwarteten Absorptionswert und einen normalisierten Schwellenwert für die Clusterung der Absorptionsspitzen festlegen. Um Informationen zu anderen Parametern zu erhalten, führen Sie das Skript mit der Option -help aus.
   4. Exportieren Sie die Ergebnisse als .ply- oder .obj-Dateien: Zielobjekte, die mit GLAM-Werten farblich zugeordnet sind, Absorptionsspitzenmarkierungen, die als farbcodierte Kugeln dargestellt werden, und Zielobjekte, die in Bezug auf den mittleren Absorptionswert farbcodiert sind.
3. Öffnen Sie VR Data Interact. VR Data Interact-executable Code ist in einem öffentlichen Repository²⁷verfügbar.
   1. Importieren Sie netze, die visualisiert werden sollen, und folgen Sie den Anweisungen im VR-Menü. Stellen Sie sicher, dass Sie die in Schritt 4.2.1 berechneten .obj-Dateien importieren, falls eine GLAM-Analyse erforderlich ist.

Results

Mit dem oben beschriebenen Verfahren zeigen wir Ergebnisse auf zwei Bildstapeln unterschiedlicher Größe, um zu demonstrieren, wie die Flexibilität der Werkzeuge es ermöglicht, das Verfahren auf größere Datasets zu skalieren. In diesem Fall sind die beiden 3DEM-Datensätze (i) P14 Ratte, somatosensorischer Kortex, Schicht VI, 100 m x 100 x 76,4 m⁴ und (ii) P60 Ratte, Hippocampus CA1, 7,07 x 6,75 x 4,73 m¹⁰.

Die Vorverarbeitungsschritte (Abbildung 1) können für beide Datasets auf die gleiche Weise ausgeführt werden, wobei einfach zu berücksichtigen ist, dass ein größeres Dataset, z. B. der erste Stapel, der 25 GB groß ist, eine leistungsfähigere Hardware erfordert, um die Visualisierung und Verarbeitung großer Daten zu verarbeiten. . Der zweite Stapel ist nur 1 GB, mit einer perfekt isotropen Voxel-Größe.

Die Größe der Daten hängt möglicherweise nicht direkt mit dem Sichtfeld (FOV) zusammen, sondern nicht mit der Auflösung des Stapels selbst, die von der maximalen Pixelgröße des Sensors des Mikroskops und der Vergrößerung des Stapels abhängt. In jedem Fall werden größere FOVs logischerweise im Vergleich zu kleineren FOVs wahrscheinlich mehr physischen Speicherplatz einnehmen, wenn sie mit der gleichen Auflösung erworben werden.

Sobald der Bildstapel importiert wird, wie in Abschnitt 1 des Protokolls angegeben, in Fidschi-Software (Abbildung 1A), eine wissenschaftliche Version von ImageJ¹², ist ein wichtiger Punkt, um sicherzustellen, dass das Bildformat 8-Bit ist (Abbildung 1B). Dies liegt daran, dass viele Akquisesoftware verschiedene Mikroskopie-Unternehmen Hersteller generieren ihre proprietären Dateiformat in 16-Bit, um Metadaten relevant für Informationen über den Acquiring-Prozess zu speichern (d. h. Pixelgröße, Dicke, Strom / Spannung der Elektronenstrahl, Kammerdruck) zusammen mit dem Bildstapel. Solche Anpassungen ermöglichen es Wissenschaftlern, Speicher zu speichern, da die zusätzlichen 8-Bit-Metadaten die Bilder nicht beeinflussen. Der zweite wichtige Parameter, der überprüft werden muss, ist die Voxelgröße, die es dann ermöglicht, die Rekonstruktion nach der Segmentierung auf der richtigen Skala (Mikrometer oder Nanometer; Abbildung 1B).

Stapel müssen möglicherweise neu ausgerichtet und/oder genäht werden, wenn sie mit Kacheln erworben wurden. Diese Operationen können innerhalb von TrakEM2 (Abbildung 2A) durchgeführt werden, obwohl in Bezug auf die Neuausrichtung automatisierte 3DEM-Techniken wie FIB-SEM oder 3View in der Regel gut ausgerichtet sind.

Ein letzter Schritt erfordert das Filtern und möglicherweise das Downsampling des Stacks, je nachdem, welche Objekte rekonstruiert werden müssen und ob Downsampling die Erkennung der rekonstruierbaren Features beeinflusst. Zum Beispiel war es für den größeren Stapel (des somatosensorischen Kortex von P14-Ratten) nicht möglich, die Auflösung zugunsten der Rekonstruktionseffizienz zu gefährden, während es für den kleineren Stapel (des Hippocampus CA1 von P60-Ratten) möglich war, dies zu tun. weil die Auflösung weit über dem lag, was für die Rekonstruierten der kleinsten Objekte erforderlich war. Schließlich verbessert die Verwendung der unscharfen Maske den Unterschied zwischen den Membranen und dem Hintergrund, was sie für die Rekonstruktionen von Software wie ilastik günstig macht, die Gradienten verwendet, um Grenzen vorab auszuwerten.

Im Anschluss an die Bildverarbeitung kann die Rekonstruktion entweder manuell mit TrakEM2 oder halbautomatisch mit ilastik (Abbildung 2C) durchgeführt werden. Ein Dataset wie das kleinere, das hier aufgeführt ist (ii), das nach unten sampelt werden kann, um in den Speicher zu passen, kann vollständig mit ilastik (Abbildung 2B) segmentiert werden, um eine dichte Rekonstruktion zu erzeugen. Im Fall des ersten hier aufgeführten Datensatzes (i) ist es uns gelungen, das gesamte Dataset mit einer Linux-Workstation mit 500 GB RAM zu laden und vorzuverarbeiten. Die spärliche Segmentierung von 16 Vollmorphologien wurde mit einer Hybrid-Pipeline durch Extraktion von grober Segmentierung erreicht, die manuell mit TrakEM2 korrekturiert wurde.

Die 3D-Analyse von Features wie Oberflächen, Volumen oder die Verteilung von intrazellulärem Glykogen kann innerhalb einer Blender-Umgebung (Abbildung 3) mit benutzerdefinierten Codes wie NeuroMorph¹⁹ oder Glykogenanalyse¹⁰durchgeführt werden.

Bei Datensätzen, die auch Glykogengranulate enthalten, kann die Analyse ihrer Verteilung mit GLAM abgeleitet werden, einem C++-Code, der Farbkarten mit Einflussbereich direkt auf dem Netz generieren würde.

Schließlich können solche komplexen Datensätze mit VR visualisiert und analysiert werden, was sich als nützlich für die Analyse von Datasets mit einer bestimmten verdeckten Ansicht erwiesen hat (Abbildung 4). Beispielsweise wurden Spitzen, die aus GLAM-Karten abgeleitet wurden, leicht visuell aus Dendriten im zweiten hier behandelten Dataset abgeleitet.

Abbildung 1:Bildverarbeitung und -vorbereitung für die Bildsegmentierung. (a) Haupt-Fidschi-GUI. (b) Beispiel für gestapelte Bilder aus dem Datensatz (i), die in den repräsentativen Ergebnissen erörtert werden. Das Bedienfeld rechts zeigt Eigenschaften an, die es dem Benutzer ermöglichen, die Voxelgröße festzulegen. (c) Beispiel für einen Datei- und Größenänderungsvorgang, der auf ein einzelnes Bild angewendet wird. Die Panels auf der rechten Seite zeigen Vergrößerungen aus der Bildmitte. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2:Segmentierung und Rekonstruktion mit TrakEM2 und ilastik. (a) TrakEM2 GUI mit manuell segmentierten Objekten (rot). (b) Die exportierte Maske aus dem Panel a kann als Eingabe (Saatgut) für (c) halbautomatische Segmentierung (Schnitzerei) verwendet werden. Von ilastik können Masken (rot) zum manuellen Korrekturlesen weiter nach TrakEM2 exportiert werden. (d) Masken können dann als dreieckige 3D-Netze exportiert werden, um rekonstruierte Strukturen zu enthüllen. In diesem Beispiel wurden vier Neuronen, Astrozyten, Mikroglia und Pericyten aus dem Datensatz (i) (in den repräsentativen Ergebnissen diskutiert) mit diesem Verfahren rekonstruiert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: 3D-Analyse rekonstruierter Morphologien mit kundenspezifischen Werkzeugen. (a) Isotropas abgebildetes Volumen aus dem FIB-SEM-Datensatz (ii) (wie in den repräsentativen Ergebnissen erläutert). (b) Dichte Rekonstruktion von Panel a. Grau = Axone; grün = astrozytischer Prozess; blau = Dendriten. (c) Mikrograph zeigt Beispiele von Zielen für Quantifizierungen wie Synapsen (Datensatz (i)) und astrozytischeglykogen-Granulat (Datensatz (ii)) in den rechten Vergrößerungen. (d) Maske aus Dem Panel c, die die Verteilung des Glykogengranulats um Synapsen zeigt. (e) Quantifizierung der Glykogenverteilung aus dem Datensatz aus Panel c, mit Hilfe der Glykogenanalyse-Toolbox von Blender. Die Fehlerbalken zeigen Standardfehler an. N = 4.145 Glykogengranulat. (f) Eine grafische Darstellung der Eingabe- und Ausgabevisualisierung von GLAM. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4:Analyse in VR. (a) Ein Benutzer, der während der Arbeit anderdichten Rekonstruktion des FIB-SEM-Datensatzes (ii) (wie in den repräsentativen Ergebnissen erörtert) ein VR-Headset trägt. (c) Immersive VR-Szene aus einer Teilmenge von Neuriten aus Panel b. Der grüne Laser zeigt auf eine GLAM-Spitze. (d) Beispiel für eine Analyse aus GLAM-Spitzenzählungen in VR. N = 3 Mäuse pro Takt. Analyse von FIB-SEM aus einer früheren Publikation²⁸. Die Fehlerbalken zeigen die Standardfehler an. *p < 0.1, einweg ANOVA. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Discussion

Die hier vorgestellte Methode ist eine nützliche Schritt-für-Schritt-Anleitung für die Segmentierung und 3D-Rekonstruktion eines multiskalen EM-Datensatzes, unabhängig davon, ob sie aus hochauflösenden Bildgebungstechniken wie FIB-SEM oder anderen automatisierten seriellen Schnitt- und Bildgebungstechniken stammen. FIB-SEM hat den Vorteil, dass es potenziell eine perfekte Isotropie in Voxelgröße erreicht, indem schnitt Schnitte so dünn wie 5 nm mit einem fokussierten Ionenstrahl, seine FOV könnte auf 15-20 m aufgrund von Seitenartefakten beschränkt werden, die möglicherweise auf die Ablagerung des geschnittenen Gewebes zurückzuführen sind, wenn die FO V überschreitet diesen Wert. Solche Artefakte können durch andere Techniken vermieden werden, wie Z. B. SBEM, das mit einem Diamantmesser serielle Abschnitte in der Mikroskopkammer schneidet. In letzterem Fall kann die z-Auflösung bestenfalls etwa 20 nm betragen (normalerweise 50 nm), aber die FOV könnte größer sein, obwohl die Pixelauflösung für eine große Interessensregion kompromittiert werden sollte. Eine Lösung, um solche Einschränkungen zu überwinden (Vergrößerung vs. FOV) ist es, den Bereich des Interesses an Fliesen zu teilen und jede von ihnen mit einer höheren Auflösung zu erwerben. Wir haben hier Ergebnisse sowohl eines SBEM-Stack-Datensatzes (i) in den repräsentativen Ergebnissen als auch eines FIB-SEM-Stack-Datensatzes (ii) in den repräsentativen Ergebnissen gezeigt.

Da die Generierung von größeren und größeren Datensätzen immer häufiger wird, häufen sich die Bemühungen, Werkzeuge für die Pixelklassifizierung und automatisierte Bildsegmentierung zu erstellen. Dennoch hat sich bisher keine Software als zuverlässig erwiesen, die mit der des menschlichen Korrekturlesens vergleichbar ist, was daher immer noch notwendig ist, egal wie zeitaufwändig sie ist. Im Allgemeinen können kleinere Datasets, die heruntersampelt werden können, wie im Fall von Dataset (ii), von einem einzelnen, erfahrenen Benutzer in einer Woche, einschließlich Korrekturlesezeit, dicht rekonstruiert werden.

Das hier vorgestellte Protokoll beinhaltet insbesondere den Einsatz von drei Softwareprogrammen: Fidschi (Version 2.0.0-rc-65/1.65b), ilastik (Version 1.3.2 rc2) und Blender (2.79), die alle Open-Source- und Multi-Plattform-Programme sind und kostenlos heruntergeladen werden können. Fidschi ist eine Veröffentlichung von ImageJ, angetrieben von Plugins für biologische Bildanalyse. Es hat eine robuste Software-Architektur und wird vorgeschlagen, da es eine gemeinsame Plattform für Life-Wissenschaftler ist und trakEM2 enthält, eines der ersten und am häufigsten verwendeten Plugins für die Bildsegmentierung. Ein Problem, das in letzter Zeit von vielen Benutzern erlebt wird, ist der Übergang von Java 6 zu Java 8, wodurch Kompatibilitätsprobleme entstehen; Daher schlagen wir vor, auf eine Aktualisierung auf Java 8 zu verzichten, wenn möglich, damit Fidschi ordnungsgemäß funktionieren kann. ilastik ist eine leistungsstarke Software, die eine Reihe von Frameworks für die Pixelklassifizierung bietet, die jeweils dokumentiert und auf ihrer Website erklärt werden. Das Carving-Modul, das für die halbautomatische Segmentierung von EM-Stacks verwendet wird, ist praktisch, da es viel Zeit spart, so dass Wissenschaftler die Zeit für manuelle Arbeit von Monaten auf Tage für einen erfahrenen Benutzer reduzieren können, da mit einem einzigen Klick ein ganzes Neurit ein ganzes Neurit enden kann. in Sekunden segmentiert. Der Vorverarbeitungsschritt ist aus Hardware-Sicht sehr intensiv, und sehr große Datensätze, wie der hier vorgestellte SBEM-Stack, der 26 GB betrug, erfordern eigenartige Strategien, um in den Speicher zu passen, wenn man bedenkt, dass man große Datasets erwerben würde, weil sie nicht Kompromissfeld von Sicht und Auflösung. Daher ist Downsampling in diesem Fall möglicherweise keine geeignete Lösung. Die neueste Version der Software kann die Vorverarbeitung in ein paar Stunden mit einer leistungsstarken Linux-Workstation durchführen, aber die Segmentierung würde Minuten dauern, und das Scrollen durch den Stapel wäre immer noch relativ langsam. Wir verwenden diese Methode immer noch für eine erste, grobe Segmentierung und Korrekturlesen mit TrakEM2. Schließlich ist Blender eine 3D-Modellierungssoftware mit einer leistungsstarken 3D-Rendering-Engine, die mit Python-Skripten angepasst werden kann, die als Add-ons wie NeuroMorph und Glykogenanalyse in die Haupt-GUI eingebettet werden können. Die Flexibilität dieser Software hat den Nachteil, dass sie im Gegensatz zu Fidschi beispielsweise nicht für die Online-Visualisierung großer Datensätze konzipiert ist; Daher kann die Visualisierung und Navigation durch große Netze (mehr als 1 GB) langsam und nicht effizient sein. Aus diesem Grund ist es immer ratsam, Techniken zu wählen, die die Netzkomplexität reduzieren, aber darauf achten, die ursprüngliche Morphologie der Interessenstruktur nicht zu stören. Die Remesh-Funktion ist praktisch und ist ein eingebettetes Feature des NeuroMorph Batch-Import-Tools. Ein Problem bei dieser Funktion besteht darin, dass der Octree-Tiefenwert, der sich auf die endgültige Auflösung bezieht, abhängig von der Anzahl der Scheitelpunkte des ursprünglichen Netzes entsprechend geändert werden sollte. Kleine Objekte können mit einer kleinen Octree-Tiefe (z. B. 4) neu vernetzt werden, aber derselbe Wert könnte die Morphologie größerer Objekte stören, die größere Werte benötigen (6 bestenfalls bis 8 oder sogar 9 für ein sehr großes Netz, z. B. eine vollständige Zelle). Es ist ratsam, diesen Prozess iterativ zu machen und die verschiedenen Octree-Tiefen zu testen, wenn die Größe des Objekts nicht klar ist.

Wie bereits erwähnt, ist ein Aspekt, der berücksichtigt werden sollte, die Rechenleistung, die der Rekonstruktion und Analyse gewidmet werden soll, im Zusammenhang mit der verwendeten Software. Alle In den repräsentativen Ergebnissen dieses Manuskripts gezeigten Operationen wurden mit einer MacPro erzielt, die mit einer AMD FirePro D500 Grafikkarte, 64 GB RAM und einer Intel Xeon E5 CPU mit 8 Kernen ausgestattet ist. Fidschi verfügt über eine gute Softwarearchitektur für den Umgang mit großen Datensätzen; Daher wird empfohlen, einen Laptop mit einer guten Hardwareleistung zu verwenden, z. B. ein MacBook Pro mit einer Intel i7 CPU mit 2,5 GHz und 16 GB RAM. ilastik Software ist anspruchsvoller in Bezug auf Hardware-Ressourcen, insbesondere während der Vorverarbeitung Schritt. Obwohl Downsampling der Image-Stack ist ein guter Trick, um die Hardware-Anforderungen von der Software zu begrenzen und ermöglicht es dem Benutzer, einen Stack mit einem Laptop zu verarbeiten (in der Regel, wenn es unter 500 Pixel in x,y,z), wir empfehlen die Verwendung eines High-End- Computer, um diese Software reibungslos laufen zu lassen. Wir verwenden eine Workstation mit einer Intel Xeon Gold 6150 CPU mit 16 Kernen und 500 GB RAM.

Wenn sie mit einer genauen 3D-Rekonstruktion versehen sind, können Wissenschaftler die ursprünglichen Mikrographen verwerfen und direkt an den 3D-Modellen arbeiten, um nützliche morphometrische Daten zu extrahieren, um Zellen desselben Typs sowie verschiedene Arten von Zellen zu vergleichen, und VR für qualitativen und quantitativen Bewertungen der Morphologien. Insbesondere hat sich die Verwendung des letzteren bei Analysen dichter oder komplexer Morphologien, die visuelle Okklusion darstellen(d. h. die Blockade der Sicht eines Objekts von Interesse im 3D-Raum, durch ein zweites, das zwischen dem Beobachter und dem Fi platziert ist) als vorteilhaft erwiesen. rst-Objekt), was es schwierig macht, sie in 3D darzustellen und zu analysieren. Im vorgestellten Beispiel hat ein erfahrener Benutzer etwa 4 nicht aufeinander folgende Stunden in Die Mund genommen, um die Datasets zu beobachten und die Objekte zu zählen. Die für die VR-Analyse aufgew. Platz für VR-Analysen kann variieren, da Aspekte wie VR-Krankheit (die bis zu einem gewissen Grad mit Autokrankheit zusammenhängen kann) negative Auswirkungen auf die Benutzererfahrung haben können; In diesem Fall kann der Benutzer andere Analysetools bevorzugen und seine Zeit für VR begrenzen.

Schließlich können alle diese Schritte auf andere Mikroskopie- und Nicht-EM-Techniken angewendet werden, die Bildstapel generieren. EM erzeugt Bilder, die im Allgemeinen schwierig zu handhaben und segmentieren sind, verglichen mit beispielsweise der Fluoreszenzmikroskopie, bei der etwas vergleichbar ist wie eine binäre Maske (Signal versus schwarzer Hintergrund), die im Prinzip leicht in 3D für Weiterverarbeitung, muss oft behandelt werden.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fiji	Open Source	2.0.0-rc-65/1.65b	Open Source Bildbearbeitungseditor www.fiji.sc
iLastik	Open Source	1.3.2 rc2	Bildsegmentierungstool www.ilastik.org
Blender	Blender Foundation	2.79	Open Source 3D-Modellierungssoftware www.blender.org
HTC Vive Headset	HTC	Vive / Vive Pro	Virtual Reality (VR) Headset mit Kopfmontage www.vive.com
Neuromorph	Open Source	---	Sammlung von Blender Addons für die 3D-Analyse neuromorph.epfl.ch
Glycogen Analysis	Open Source	---	Blender Addon zur Analyse von Glykogen https://github.com/daniJb/glyco-analysis
GLAM	Open Source	---	C++ Code zur Generierung von GLAM Maps https://github.com/magus74/GLAM