Summary
La tubería descrita está diseñada para la segmentación de conjuntos de datos de microscopía electrónica mayores que gigabytes, para extraer morfologías de células enteras. Una vez que las células se reconstruyen en 3D, el software personalizado diseñado en torno a las necesidades individuales se puede utilizar para realizar un análisis cualitativo y cuantitativo directamente en 3D, también utilizando la realidad virtual para superar la oclusión de la vista.
Abstract
La sección en serie y las posteriores imágenes de alta resolución de tejido biológico mediante microscopía electrónica (EM) permiten la segmentación y reconstrucción de pilas de imágenes de alta resolución para revelar patrones ultraestructurales que no se pudieron resolver utilizando 2D Imágenes. De hecho, esto último podría conducir a una interpretación errónea de morfologías, como en el caso de las mitocondrias; el uso de modelos 3D es, por lo tanto, cada vez más común y se aplica a la formulación de hipótesis funcionales basadas en morfología. Hasta la fecha, el uso de modelos 3D generados a partir de pilas de imágenes de luz o electrones hace que las evaluaciones cualitativas y visuales, así como la cuantificación, sean más convenientes para realizarse directamente en 3D. Como estos modelos son a menudo extremadamente complejos, también es importante configurar un entorno de realidad virtual para superar la oclusión y aprovechar al máximo la estructura 3D. Aquí, se describe en detalle una guía paso a paso desde la segmentación de la imagen hasta la reconstrucción y el análisis.
Introduction
El primer modelo propuesto para una configuración de microscopía electrónica que permite la sección serial automatizada y la imagen se remonta a 19811; la difusión de tales configuraciones automatizadas y mejoradas para la imagen de muestras grandes utilizando EM aumentó en los últimos diez años2,3, y las obras que muestran impresionantes reconstrucciones densas o morfologías completas inmediatamente siguieron4, 5,6,7,8,9,10.
La producción de grandes conjuntos de datos venía con la necesidad de mejorar las canalizaciones para la segmentación de imágenes. Las herramientas de software para la segmentación manual de secciones en serie, como RECONSTRUCT y TrakEM211,12,fueron diseñadas para la microscopía electrónica de transmisión (TEM). Como todo el proceso puede llevar mucho tiempo, estas herramientas no son apropiadas cuando se trata de los miles de micrografías en serie que se pueden generar automáticamente con técnicas de sección serie EM automatizadas de última generación (3DEM), como microscopía electrónica de barrido de cara de bloque (SBEM)3 o microscopía electrónica de barrido de haz de iones focalizada (FIB-SEM)2. Por esta razón, los científicos se esfuerzan por desarrollar herramientas semiautomáticas, así como herramientas totalmente automatizadas, para mejorar la eficiencia de la segmentación. Las herramientas totalmente automatizadas, basadas en el aprendizaje automático13 o los algoritmos de clasificación de píxeles no entrenados de última generación14,se están mejorando para ser utilizados por una comunidad más grande; sin embargo, la segmentación todavía está lejos de ser totalmente confiable, y muchas obras todavía se basan en la mano de obra manual, que es ineficiente en términos de tiempo de segmentación, pero todavía proporciona una fiabilidad completa. Las herramientas semiautomáticas, como ilastik15, representan un mejor compromiso, ya que proporcionan una lectura inmediata para la segmentación que se puede corregir en cierta medida, aunque no proporciona un marco de corrección real y se puede integrar utilizando TrakEM2 en paralelo16.
La segmentación a gran escala es, hasta la fecha, en su mayoría limitada a la conectomica; por lo tanto, los científicos informáticos están más interesados en proporcionar marcos para visualizaciones integradas de grandes conjuntos de datos anotados y analizar patrones de conectividad inferidos por la presencia de contactos sinápticos17,18. Sin embargo, las reconstrucciones 3D precisas se pueden utilizar para análisis morfométricos cuantitativos, en lugar de evaluaciones cualitativas de las estructuras 3D. Herramientas como NeuroMorph19,20 y análisis de glucógeno10 se han desarrollado para tomar medidas en las reconstrucciones 3D para longitudes, superficies y volúmenes, y en la distribución de puntos de nube, completamente desechar la pila EM original8,10. Los astrocitos representan un estudio de caso interesante, porque la falta de pistas visuales o patrones estructurales repetitivos dan a los investigadores una pista sobre la función de las unidades estructurales individuales y la consecuente falta de una ontología adecuada de los procesos astrocíticos 21, dificulta el diseño de herramientas analíticas. Un intento reciente fue Abstractocyte22,que permite una exploración visual de los procesos astrocíticos y la inferencia de relaciones cualitativas entre procesos astrocíticos y neurótesis.
Sin embargo, la conveniencia de las imágenes de tejido seccionado bajo EM proviene del hecho de que la cantidad de información oculta en muestras cerebrales intactas es enorme y la interpretación de imágenes de una sola sección puede superar este problema. La densidad de las estructuras en el cerebro es tan alta que las reconstrucciones 3D de incluso unos pocos objetos visibles a la vez harían imposible distinguirlos visualmente. Por esta razón, recientemente propusimos el uso de la realidad virtual (VR) como un método mejorado para observar estructuras complejas. Nos centramos en los astrocitos23 para superar la oclusión (que es el bloqueo de la visibilidad de un objeto de interés con un segundo, en un espacio 3D) y facilitar las evaluaciones cualitativas de las reconstrucciones, incluida la corrección, así como las cuantificaciones de entidades que utilizan el recuento de puntos en el espacio. Recientemente combinamos la exploración visual de realidad virtual con el uso de GLAM (modelo de absorción de lactato derivado del glucógeno), una técnica para visualizar un mapa de probabilidad de lata de lanzadera de neuritas, considerando glycogen glycogen granulos como cuerpos emisores de luz23; en particular, utilizamos la realidad virtual para cuantificar los picos de luz producidos por GLAM.
Protocol
1. Procesamiento de imágenes con Fiji
- Abra la pila de imágenes arrastrando y soltando el archivo nativo desde el microscopio que contiene la pila, o arrastrando y soltando la carpeta que contiene toda la pila de imágenes en la ventana de software.
NOTA: Fiji es capaz de reconocer automáticamente todos los formatos de imagen estándar, como .jpg, .tif y .png, así como formatos de archivo propietarios de proveedores de microscopios. Aunque el siguiente protocolo se ha optimizado para pilas de imágenes de 3DEM, estos pasos también se pueden utilizar para conjuntos de datos de microscopía de luz. - Una vez abierta la pila, vaya a Imagen > Propiedades para asegurarse de que el tamaño del voxel se ha leído de los metadatos. Si no es así, se puede introducir manualmente.
- Asegúrese de transformar la imagen en 8 bits. Haga clic en Imagen > Texto y seleccione 8 bits.
- Si la pila original estaba en diferentes archivos/carpetas secuenciales, utilice Concatenar para combinarlos en una sola pila seleccionando Imagen > Pilas > Herramientas > Concatenar.
- Guarde la pila seleccionando Archivo > Guardar como. Se guardará como un único archivo .tif y se puede utilizar como copia de seguridad y para su posterior procesamiento.
- Si la pila original se adquiere como baldosas diferentes, aplique costuras dentro de TrakEM2.
- Cree un nuevo proyecto TrakEM2 con Nuevo > TrakEM2 (en blanco).
- Dentro de la interfaz gráfica de usuario (GUI) de la ventana gráfica, importe las pilas haciendo clic con el botón derecho del ratón > Importar > Importar pilae importe todas las teselas abiertas en la GUI principal de Fiji. Asegúrese de cambiar el tamaño del lienzo para que se ajuste a toda la pila haciendo clic con el botón derecho > Pantalla > Cambiar eltamaño del espacio de canvas/conjunto de capas y elija el tamaño de píxel y/x en función del tamaño final del montaje.
NOTA: Por ejemplo, si el montaje debe finalizarse con cuatro teselas de 4.096 x 4.096 píxeles, el tamaño del lienzo debe ser de al menos 8.192 x 8.192 píxeles. Considere hacerlo un poco más grande, y recortarlo más tarde. - Superponga las partes comunes de las teselas individuales arrastrándolas y soltándolas en el conjunto de capas. Utilice el control deslizante superior izquierdo para modificar la transparencia y ayudar con la superposición.
- Montar y realinear las pilas haciendo clic con el botón derecho del ratón > Alineary, a continuación, seleccione una de las opciones (consulte la nota a continuación).
NOTA: SBEM o FIB-SEM generalmente ya están bien alineados, pero pueden producirse desalineaciones menores. Alinear capas es la canalización automatizada para la alineación z; Montage multiple layers es la canalización automatizada para alinear teselas en cada pila z, para todo el volumen; Alinear mosaico multicapa combina las dos opciones anteriores. Esta operación requiere mucho tiempo y está sujeta a la memoria de acceso aleatorio (RAM) de la máquina. Considere la posibilidad de usar un equipo de gama alta y deje que se ejecute durante horas/días, dependiendo del tamaño de la pila. - Por último, exporte las pilas de imágenes y guárdelas con el botón derecho del ratón > Crear imagen planay, a continuación, asegúrese de seleccionar la primera a la última imagen en los menús desplegables Inicio y Fin.
- Utilizando funciones integradas trakEM2, segmente las estructuras de interés si es necesario.
- En la GUI de TrakEM2, haga clic con el botón derecho en Cualquier cosa en la ventana Plantilla y seleccione Agregar nuevo hijo > Area_list.
- Arrastre y suelte Cualquier cosa en la parte superior de la carpeta en Objetosde proyecto , y aparecerá una cosa allí.
- Arrastre y suelte la lista de áreas de la plantilla a Cualquier cosa ubicada en Objetos de proyecto.
- En la ventana gráfica de la pila de imágenes, seleccione el espacio Z con el cursor. Aparecerá la lista de áreas, con un número de identificación único. Seleccione la herramienta de pincel en la parte superior (abajo a la derecha) y utilice el ratón para segmentar una estructura rellenando su citosol, sobre toda la pila z.
- Exporte la máscara segmentada que se utilizará en ilastik como semilla para tallar haciendo clic con el botón derecho en el objeto de lista de áreas de la lista de espacios Z o en la máscara en la ventana gráfica y seleccione Exportar > Listas de áreas como etiquetas (tif).
- Dependiendo de la resolución necesaria para reconstrucciones adicionales, si es posible, reduzca el tamaño de píxel de la pila de imágenes reduciendo el muestreo, teniendo en cuenta los requisitos de memoria del software que se utilizará para la segmentación y reconstrucción. Utilice Imagen > Ajustar > Tamaño.
NOTA: ilastik maneja pilas de hasta 500 píxeles en pozo xy. Además, la reducción de la resolución reducirá la resolución de la pila; por lo tanto, tenga en cuenta el tamaño mínimo al que el objeto todavía aparece reconocible y, por lo tanto, se puede segmentar. - Para mejorar el contraste y ayudar a la segmentación, el filtro de máscara Unsharp se puede aplicar para hacer que las membranas sean más nítidas. Utilice Proceso > Filtro > Máscara de sin enfoque.
- Exporte la pila de imágenes como imágenes individuales para su posterior procesamiento en el software de segmentación, (por ejemplo, ilastik), utilizando Archivo > Guardar como... > Secuencia de imágenes y elija el formato .tif.
2. Segmentación (semiautomática) y Reconstrucción Con ilastik 1.3.2
- En la gui principal de ilastik, seleccione el módulo de tallado.
- Cargue la pila de imágenes mediante Agregar nuevo > Agregar un único volumen 3D/4D desdela secuencia .
- Seleccione Directorio completo y elija la carpeta que contiene la pila de imágenes guardada como archivos individuales. En la parte inferior de la nueva ventana, donde hay opciones para cargar las imágenes, asegúrese de mantener z seleccionada.
- Para los siguientes pasos, todas las operaciones y botones se pueden encontrar en el lado izquierdo de la GUI del software principal. En la pestaña Preprocesamiento, utilice las opciones estándar ya marcadas. Utilice líneas brillantes (filtros de cresta) y mantenga la escala del filtro en 1.600. Este parámetro se puede modificar después.
- Una vez finalizado el preprocesamiento, seleccione la página siguiente en el menú desplegable del módulo Etiquetado. Un objeto y un fondo están presentes de forma predeterminada.
-
Seleccione la semilla del objeto haciendo clic en él, y dibuje una línea en la parte superior de la estructura de interés; a continuación, seleccione el fondo a primera semilla y dibuje una o varias líneas fuera del objeto que se va a reconstruir. A continuación, haga clic en Segmento y espere.
NOTA: Dependiendo de la potencia del equipo y del tamaño de la pila, la segmentación podría tardar de unos segundos a horas. Una vez hecho esto, una máscara semitransparente que resalta la segmentación debe aparecer en la parte superior de la estructura segmentada.- Desplácese por la pila para comprobar la segmentación. Es posible que la segmentación no sea precisa y no siga la estructura de interés con precisión o se derrame de ella. Corrija cualquier derrame colocando una semilla de fondo en la segmentación derramada y agregue una semilla de objeto sobre el segmento no reconstruido del objeto de interés.
- Si la segmentación sigue sin ser correcta, intente modificar con el parámetro Bias, que aumentará o disminuirá la cantidad de píxeles clasificados inciertos según se acepten. Su valor es 0.95 de forma predeterminada; reducirlo para limitar cualquier contagio (normalmente a no menos de 0,9) o aumentar si la segmentación es demasiado conservadora (hasta 1).
- Otra posibilidad es volver al paso 2.4 (haciendo clic en Preprocesamiento)y modificar el tamaño del filtro; aumentar el valor (por ejemplo, a 2) minimizará los efectos de ruido de sal y pimienta, pero también hará que las membranas sean más borrosas y los detalles más pequeños más difíciles de detectar. Esto podría limitar el derrame.
- Reitere tanto como sea necesario, siempre y cuando se hayan segmentado todos los objetos deseados. Una vez que un objeto haya terminado, haga clic en Guardar objeto actual, debajo de Segmento. Aparecerán dos nuevas semillas, para iniciar la segmentación de un nuevo objeto.
- Extraiga mallas de superficie de inmediato como archivos .obj haciendo clic en Exportar todas las mallas.
- Si se necesita una corrección adicional, la segmentación se puede extraer como máscaras binarias. Seleccione la máscara para exportarla haciendo clic en Examinar objetos; a continuación, haga clic con el botón derecho en Segmentación > Exportar y, a continuación, en Información del archivode salida , seleccione la secuencia de tif como formato.
3. Comprobación/segmentación (Manual) en TrakEM2 (Fiji)
- Cargue la pila de imágenes y cree un nuevo proyecto TrekEM2 según el paso 1.6.1.
- Importe las máscaras que necesitan corrección con la opción Importar etiquetas como listasde áreas , disponible en el mismo menú de importación utilizado para importar la pila de imágenes.
- Seleccione la lista de áreas importada en el espacio Z y utilice la herramienta Pincel para revisar la segmentación.
- Visualice el modelo en 3D haciendo clic con el botón derecho en Lista de áreas > Mostrar en 3D. En la siguiente ventana pidiendo un número de remuestreo, un valor más alto generará una malla de resolución más baja.
NOTA: Dependiendo del tamaño del objeto, considere la posibilidad de utilizar un valor entre 4 y 6, que normalmente da el mejor compromiso entre la resolución y el detalle morfológico. - Exporte la malla 3D como wavefront .obj eligiendo en el menú Archivo > Exportar superficies > Wavefront.
4. Análisis 3D
- Abra Blender. Para los pasos siguientes, asegúrese de instalar el kit de herramientas NeuroMorph (disponible en https://neuromorph.epfl.ch/index.html) y el kit de herramientas de análisis de glucógeno (disponible en https://github.com/daniJb/glyco-analysis).
- Importe los objetos mediante la importación por lotes de NeuroMorph haciendo clic en Importar objetos en el menú Escena para importar varios objetos a la vez. Asegúrese de activar Usar remalla y Sombreado suave.
NOTA: No se recomienda hacer clic en Finalizar remalla si hay incertidumbre sobre el tamaño inicial del objeto. La profundidad del árbol de importación en el valor 7 (predeterminado) suele ser buena para mantener una resolución y morfología aceptables del objeto. - Seleccione el objeto de interés del delineador y modifique la profundidad del octree de la función de remesh en el menú Modificadores iterativamente para minimizar el número de vértices y evitar perder detalles en la resolución y la morfología correcta. Al cambiar la profundidad del octree, la malla en la GUI principal cambiará en consecuencia. Una vez terminado, haga clic en Aplicar para finalizar el proceso.
NOTA: Los valores alrededor de 4 suelen ser buenos para objetos pequeños (como densidades postsinápticas), valores alrededor de 7 para los más grandes (como axones largos o dendritas) y valores alrededor de 8 o 9 para morfologías celulares completas donde los detalles de diferentes resoluciones deben ser Mantenido. - Utilice la herramienta de superposición de imágenes Interacciones de pila de imágenes en el panel izquierdo, en el menú NeuroMorph, para cargar la pila de imágenes. Asegúrese de introducir el tamaño físico de la pila de imágenes para x, y, y x (en micras o nanómetros, dependiendo de las unidades de la malla) y seleccione la ruta de la pila haciendo clic en Source_Z. X e Y son planos ortogonales; son opcionales y se cargarán solo si el usuario inserta una ruta de acceso válida.
- A continuación, seleccione una malla en la ventana gráfica haciendo clic con el botón derecho en ella, entre en el modo de edición pulsando Tab, seleccione uno (o más) vértices con el botón derecho del ratón y, finalmente, haga clic en Mostrar imagen en vértice. Uno (o más) planos de corte con el micrográfico aparecerán superpuestos en la parte superior de la malla.
- Seleccione el plano de corte haciendo clic con el botón derecho en él, presione Ctrl + Yy desplácese sobre el modelo 3D con el desplazamiento del ratón. Esto también se puede utilizar como método de corrección.
- Utilice Herramientas de medición para cuantificaciones de áreas de superficie, volúmenes y longitudes. Estas operaciones están documentadas con más detalle por Jorstad et al.19 y en el sitio web de NeuroMorph24.
- Utilice la herramienta de análisis de glucógeno para cuantificar la proximidad del glucógeno hacia las espinas y los boutons. Las operaciones se documentan con más detalle en una publicación anterior10 y en el repositorio de análisis de glucógeno25.
- Importe los objetos mediante la importación por lotes de NeuroMorph haciendo clic en Importar objetos en el menú Escena para importar varios objetos a la vez. Asegúrese de activar Usar remalla y Sombreado suave.
- Ejecute GLAM23. El código, el ejecutable y algunos archivos de prueba están disponibles en el repositorio GLAM26.
- Prepare dos archivos de geometría en formato .ply: un archivo de origen que contenga gránulos de glucógeno y un archivo de destino que contenga las superficies morfológicas.
- Prepare tres archivos de mapa de colores .ascii (cada línea que contiene t_norm(0..1) R(0..255) G(0..255) B(0..255)) para representar valores de absorción locales, valores máximos y valores de absorción promedio.
- Ejecute el script GLAM de C++, con los archivos de geometría (paso 4.2.1) y los archivos de mapa de colores (paso 4.2.2), estableciendo el radio de influencia (en micrones), el valor máximo de absorción esperado y un umbral normalizado para agrupar los picos de absorción. Para obtener información sobre otros parámetros, ejecute el script con la opción -help.
- Exportar los resultados como archivos .ply o .obj: objetos de destino asignados a color con valores GLAM, marcadores de pico de absorción representados como esferas codificadas por colores y objetos de destino codificados por colores con respecto al valor medio de absorción.
- Abra VR Data Interact. VR Data Interact-ejecutable código está disponible en un repositorio público27.
- Importe mallas que desea visualizar siguiendo las instrucciones del menú VR. Asegúrese de importar los archivos .obj calculados en el paso 4.2.1, en caso de que se necesite un análisis GLAM.
Representative Results
Mediante el procedimiento presentado anteriormente, mostramos los resultados en dos pilas de imágenes de diferentes tamaños, para demostrar cómo la flexibilidad de las herramientas permite escalar verticalmente el procedimiento a conjuntos de datos más grandes. En este caso, los dos datasets 3DEM son (i) rata P14, corteza somatosensorial, capa VI, 100 ám x 100 ám x 76,4 ám4 y (ii) rata P60, hipocampo CA1, 7,07 ám x 6,75 ám x 4,73 ám10.
Los pasos de preprocesamiento(figura 1) se pueden realizar de la misma manera para ambos conjuntos de datos, simplemente teniendo en cuenta que un conjunto de datos más grande, como la primera pila, que es de 25 GB, requiere más hardware de rendimiento para manejar la visualización y el procesamiento de datos de gran tamaño . La segunda pila es de sólo 1 GB, con un tamaño de voxel perfectamente isotrópico.
Es posible que el tamaño de los datos no esté directamente relacionado con el campo de visión (FOV), en lugar de con la resolución de la propia pila, que depende del tamaño máximo de píxel del sensor del microscopio y de la ampliación de la pila. En cualquier caso, lógicamente, es probable que los VIF más grandes ocupen más espacio físico en comparación con los VOTROS más pequeños, si se adquieren con la misma resolución.
Una vez que se importa la pila de imágenes, como se indica en la sección 1 del protocolo, en el software de Fiji(Figura 1A),una versión científica de ImageJ12, un punto importante es asegurarse de que el formato de imagen es de 8 bits(Figura 1B). Esto se debe a que muchos productores de empresas de microscopía de software de adquisición diferentes generan su formato de archivo propietario en 16 bits para almacenar metadatos relevantes para la información sobre el proceso de adquisición (es decir, tamaño de píxel, grosor, corriente / voltaje de la haz de electrones, presión de la cámara) junto con la pila de imágenes. Estos ajustes permiten a los científicos ahorrar memoria, ya que los metadatos adicionales de 8 bits que contienen no afectan a las imágenes. El segundo parámetro importante a comprobar es el tamaño del vóxel, que permite que la reconstrucción después de la segmentación se realice en la escala correcta (micrómetros o nanómetros; Figura 1B).
Las pilas pueden necesitar realineación y/o costura si se han adquirido utilizando mosaicos; estas operaciones se pueden realizar dentro de TrakEM2(Figura 2A),aunque en lo que respecta a la realineación, las técnicas automatizadas de 3DEM como FIB-SEM o 3View suelen estar bien realineadas.
Un último paso requiere filtrado y, posiblemente, reducción de la resolución de la pila, dependiendo de qué objetos deben reconstruirse y si el muestreo descendente afecta al reconocimiento de las entidades reconstruibles. Por ejemplo, para la pila más grande (de la corteza somatosensorial de ratas P14), no fue posible comprometer la resolución en beneficio de la eficiencia de reconstrucción, mientras que para la pila más pequeña (del hipocampo CA1 de ratas P60), fue posible hacerlo porque la resolución estaba muy por encima de lo que se necesitaba para que los objetos más pequeños fueran reconstruidos. Por último, el uso de la máscara sin afilar mejora la diferencia entre las membranas y el fondo, por lo que es favorable para las reconstrucciones de software como ilastik que utiliza gradientes para preevaluar los bordes.
Después del procesamiento de la imagen, la reconstrucción se puede realizar manualmente utilizando TrakEM2, o semiautomáticamente utilizando ilastik(Figura 2C). Un conjunto de datos como el más pequeño que se enumera aquí (ii), que se puede reducir la muestra para caber en la memoria, se puede segmentar completamente utilizando ilastik(Figura 2B)para producir una reconstrucción densa. En el caso del primer conjunto de datos enumerado aquí (i), hemos logrado cargar y preprocesar todo el conjunto de datos con una estación de trabajo Linux con 500 GB de RAM. La segmentación dispersa de 16 morfologías completas se obtuvo con una tubería híbrida, mediante la extracción de segmentación rugosa que se probó manualmente utilizando TrakEM2.
El análisis 3D de características como superficies, volúmenes o la distribución de glucógeno intracelular se puede realizar dentro de un entorno Blender(Figura 3) utilizando códigos personalizados, como NeuroMorph19 o análisis de glucógeno10.
En el caso de conjuntos de datos que contienen gránulos de glucógeno también, el análisis de su distribución se puede inferir mediante GLAM, un código C++ que generaría mapas de colores con área de influencia directamente en la malla.
Por último, estos conjuntos de datos complejos se pueden visualizar y analizar mediante VR, lo que ha demostrado ser útil para el análisis de conjuntos de datos con una vista ocluida determinada(Figura 4). Por ejemplo, los picos deducidos de los mapas GLAM se infirieron visualmente de las dendritas en el segundo conjunto de datos que se describe aquí.
Figura 1: Procesamiento de imágenes y preparación para lasegmentación de imágenes. (a ) GUI principal de Fiji. (b) Ejemplo de imágenes apiladas del conjunto de datos (i) que se describen en los resultados representativos. El panel de la derecha muestra las propiedades que permiten al usuario establecer el tamaño del voxel. (c) Ejemplo de una operación de archivador y cambio de tamaño aplicada a una sola imagen. Los paneles de la derecha muestran aumentos desde el centro de la imagen. Haga clic aquí para ver una versión más grande de esta figura.
Figura 2: Segmentación y reconstrucción utilizando TrakEM2 e ilastik. ( a ) TrakEM2 GUI con objetos segmentados manualmente (en rojo). (b) La máscara exportada desde el panel a se puede utilizar como entrada (semilla) para (c) segmentación semiautomática (tallado). Desde ilastik, las máscaras (rojas) se pueden exportar a TrakEM2 para la corrección manual. (d) Las máscaras se pueden exportar como mallas triangulares 3D para revelar estructuras reconstruidas. En este ejemplo, cuatro neuronas, astrocitos, microglia y pericitos del conjunto de datos (i) (discutidos en los resultados representativos) se reconstruyeron utilizando este proceso. Haga clic aquí para ver una versión más grande de esta figura.
Figura 3: Análisis 3D de morfologías reconstruidas utilizando herramientas personalizadas. ( a ) Volumen de imágenes isotrópicas del conjunto de datos FIB-SEM (ii) (como se describe en los resultados representativos). (b) Reconstrucción densa desde el panela . Gris- axons; verde - proceso astrocítico; azules- dendritas. (c) Micrografía que muestra ejemplos de objetivos para cuantificaciones como sinapsis (conjunto de datos (i)) y gránulos de glucógeno astrocítico (conjunto de datos (ii)) en las ampliaciones correctas. (d) Máscara del panel c que muestra la distribución de gránulos de glucógeno alrededor de las sinapsis. (e) Cuantificación de la distribución de glucógeno del conjunto de datos del panel c, utilizando la caja de herramientas de análisis de glucógeno de Blender. Las barras de error indican errores estándar. N 4.145 gránulos de glucógeno. (f) Ilustración gráfica de la visualización de entrada y salida de GLAM. Haga clic aquí para ver una versión más grande de esta figura.
Figura 4: Análisis en VR. (a) Un usuario que lleva un casco de RV mientras trabaja en (b) la reconstrucción densa del conjunto de datos FIB-SEM (ii) (como se describe en los resultados representativos). (c) Escena de VR inmersiva de un subconjunto de neurites del panel b. El láser verde apunta a un pico GLAM. (d) Ejemplo de un análisis de los recuentos máximos de GLAM en VR. N 3 ratones por cada barra. Análisis de FIB-SEM de una publicación anterior28. Las barras de error indican los errores estándar; *p < 0.1, ANOVA unidireccional. Haga clic aquí para ver una versión más grande de esta figura.
Discussion
El método presentado aquí es una guía útil paso a paso para la segmentación y reconstrucción 3D de un conjunto de datos EM multiescala, ya sea que provengan de técnicas de imagen de alta resolución, como FIB-SEM, u otras técnicas automatizadas de seccionamiento en serie e imágenes. FIB-SEM tiene la ventaja de alcanzar potencialmente la isotropía perfecta en tamaño voxel cortando secciones tan delgadas como 5 nm usando un haz de iones enfocado, su FOV podría limitarse a 15-20 m debido a los artefactos laterales, que son posiblemente debido a la deposición del tejido cortado si el FO V supera este valor. Tales artefactos se pueden evitar mediante el uso de otras técnicas, como SBEM, que utiliza un cuchillo de diamante para cortar secciones seriales dentro de la cámara del microscopio. En este último caso, la resolución z puede ser alrededor de 20 nm en el mejor de los casos (generalmente, 50 nm), pero el FOV podría ser más grande, aunque la resolución de píxeles debe verse comprometida para una vasta región de interés. Una solución para superar estas limitaciones (magnificación frente a FOV) es dividir la región de interés en los azulejos y adquirir cada una de ellas a una resolución más alta. Hemos mostrado aquí los resultados de un conjunto de datos de pila SBEM (i) en los resultados representativos y un conjunto de datos de pila FIB-SEM (ii) en los resultados representativos.
A medida que la generación de conjuntos de datos más grandes y grandes es cada vez más común, los esfuerzos en la creación de herramientas para la clasificación de píxeles y la segmentación automatizada de imágenes se multiplican; sin embargo, hasta la fecha, ningún software ha demostrado una fiabilidad comparable a la de la corrección humana, que por lo tanto sigue siendo necesaria, sin importar cuán lento sea. En general, los conjuntos de datos más pequeños que se pueden reducir, como en el caso del conjunto de datos (ii), pueden ser reconstruidos densamente por un único usuario experto en una semana, incluido el tiempo de corrección.
El protocolo presentado aquí implica el uso de tres programas de software en particular: Fiji (versión 2.0.0-rc-65/1.65b), ilastik (versión 1.3.2 rc2) y Blender (2.79), que son todos programas de código abierto y multiplataforma y se pueden descargar de forma gratuita. Fiji es una versión de ImageJ, impulsada por plugins para el análisis biológico de imágenes. Tiene una arquitectura de software robusta y se sugiere, ya que es una plataforma común para los científicos de la vida e incluye TrakEM2, uno de los primeros y más utilizados plugins para la segmentación de imágenes. Un problema experimentado por muchos usuarios últimamente es la transición de Java 6 a Java 8, que está creando problemas de compatibilidad; por lo tanto, sugerimos abstenerse de actualizar a Java 8, si es posible, para permitir que Fiji funcione correctamente. ilastik es un potente software que proporciona una serie de marcos para la clasificación de píxeles, cada uno documentado y explicado en su sitio web. El módulo de tallado utilizado para la segmentación semiautomática de pilas EM es conveniente, ya que ahorra mucho tiempo, lo que permite a los científicos reducir el tiempo dedicado al trabajo manual de meses a días para un usuario experimentado, ya que con un solo clic puede ser toda una neurita segmentado en segundos. El paso de preprocesamiento es muy intenso desde el punto de vista del hardware, y conjuntos de datos muy grandes, como la pila SBEM presentada aquí, que era de 26 GB, requieren estrategias peculiares para encajar en la memoria, teniendo en cuenta que uno adquiriría grandes conjuntos de datos porque no se puede compromiso y resolución. Por lo tanto, la reducción de la resolución podría no ser una solución adecuada en este caso. La última versión del software puede hacer el preprocesamiento en pocas horas con una potente estación de trabajo Linux, pero la segmentación tomaría minutos, y desplazarse a través de la pila todavía sería relativamente lento. Seguimos utilizando este método para una primera segmentación aproximada, y lo revisamos usando TrakEM2. Por último, Blender es un software de modelado 3D, con un potente motor de renderizado 3D, que se puede personalizar con scripts python que se pueden incrustar en la GUI principal como complementos, como NeuroMorph y análisis de glucógeno. La flexibilidad de este software viene con el inconveniente de que, a diferencia de Fiji, por ejemplo, no está diseñado para la visualización en línea de grandes conjuntos de datos; por lo tanto, visualizar y navegar a través de mallas grandes (superiores a 1 GB) podría ser lento y no eficiente. Debido a esto, siempre es aconsejable elegir técnicas que reduzcan la complejidad de la malla pero tengan cuidado de no interrumpir la morfología original de la estructura de interés. La función de remalla es útil y es una característica integrada de la herramienta de importación por lotes NeuroMorph. Un problema con esta función es que, dependiendo del número de vértices de la malla original, el valor de profundidad del octree, que está relacionado con la resolución final, debe modificarse en consecuencia. Los objetos pequeños se pueden volver a mallar con una pequeña profundidad de árbol (por ejemplo, 4), pero el mismo valor puede alterar la morfología de los objetos más grandes, que necesita valores más grandes (6 en el mejor de los casos, a 8 o incluso 9 para una malla muy grande, como una celda completa). Es aconsejable hacer este proceso iterativo y probar las diferentes profundidades del octree si el tamaño del objeto no es claro.
Como se mencionó anteriormente, un aspecto que debe tenerse en cuenta es el poder computacional que se dedicará a la reconstrucción y el análisis, relacionados con el software que se está utilizando. Todas las operaciones mostradas en los resultados representativos de este manuscrito se obtuvieron utilizando un MacPro, equipado con una tarjeta gráfica AMD FirePro D500, 64 GB de RAM y una CPU Intel Xeon E5 con 8 núcleos. Fiji tiene una buena arquitectura de software para el manejo de grandes conjuntos de datos; por lo tanto, se recomienda utilizar un portátil con un buen rendimiento de hardware, como un MacBook Pro con una CPU Intel i7 de 2,5 GHz y 16 GB de RAM. el software ilastik es más exigente en términos de recursos de hardware, en particular durante el paso de preprocesamiento. Aunque la reducción de la pila de imágenes es un buen truco para limitar las solicitudes de hardware del software y permite al usuario procesar una pila con un ordenador portátil (normalmente si está por debajo de 500 píxeles en x,y,z), sugerimos el uso de un high-end computadora para ejecutar este software sin problemas. Utilizamos una estación de trabajo equipada con una CPU Intel Xeon Gold 6150 con 16 núcleos y 500 GB de RAM.
Cuando se les proporciona una reconstrucción 3D precisa, los científicos pueden descartar las micrografías originales y trabajar directamente en los modelos 3D para extraer datos morfométricos útiles para comparar células del mismo tipo, así como diferentes tipos de células, y aprovechar la realidad virtual para evaluaciones cualitativas y cuantitativas de las morfologías. En particular, el uso de este último ha demostrado ser beneficioso en el caso de análisis de morfologías densas o complejas que presentan oclusión visual (es decir, el bloqueo de la visión de un objeto de interés en el espacio 3D por un segundo colocado entre el observador y el primer objeto), lo que dificulta representarlos y analizarlos en 3D. En el ejemplo presentado, un usuario experimentado tardó aproximadamente 4 horas no consecutivas en observar los conjuntos de datos y contar los objetos. El tiempo dedicado al análisis de realidad virtual puede variar, ya que aspectos como la enfermedad de la realidad virtual (que, en cierta medida, pueden estar relacionados con la enfermedad del automóvil) pueden tener un impacto negativo en la experiencia del usuario; en este caso, el usuario podría preferir otras herramientas de análisis y limitar su tiempo dedicado a la realidad virtual.
Por último, todos estos pasos se pueden aplicar a otras técnicas de microscopía y no EM que generan pilas de imágenes. EM genera imágenes que, en general, son difíciles de manejar y segmentar, en comparación con, por ejemplo, la microscopía de fluorescencia, donde algo comparable a una máscara binaria (señal frente a un fondo negro), que en principio se puede representar fácilmente en 3D para procesamiento adicional, a menudo es necesario tratarlo.
Disclosures
Los autores no tienen nada que revelar.
Acknowledgments
Este trabajo fue apoyado por la King Abdullah University of Science and Technology (KAUST) Competitive Research Grants (CRG) grant "KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism" a P.J.M.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C.
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
