La tubería descrita está diseñada para la segmentación de conjuntos de datos de microscopía electrónica mayores que gigabytes, para extraer morfologías de células enteras. Una vez que las células se reconstruyen en 3D, el software personalizado diseñado en torno a las necesidades individuales se puede utilizar para realizar un análisis cualitativo y cuantitativo directamente en 3D, también utilizando la realidad virtual para superar la oclusión de la vista.
La sección en serie y las posteriores imágenes de alta resolución de tejido biológico mediante microscopía electrónica (EM) permiten la segmentación y reconstrucción de pilas de imágenes de alta resolución para revelar patrones ultraestructurales que no se pudieron resolver utilizando 2D Imágenes. De hecho, esto último podría conducir a una interpretación errónea de morfologías, como en el caso de las mitocondrias; el uso de modelos 3D es, por lo tanto, cada vez más común y se aplica a la formulación de hipótesis funcionales basadas en morfología. Hasta la fecha, el uso de modelos 3D generados a partir de pilas de imágenes de luz o electrones hace que las evaluaciones cualitativas y visuales, así como la cuantificación, sean más convenientes para realizarse directamente en 3D. Como estos modelos son a menudo extremadamente complejos, también es importante configurar un entorno de realidad virtual para superar la oclusión y aprovechar al máximo la estructura 3D. Aquí, se describe en detalle una guía paso a paso desde la segmentación de la imagen hasta la reconstrucción y el análisis.
El primer modelo propuesto para una configuración de microscopía electrónica que permite la sección serial automatizada y la imagen se remonta a 19811; la difusión de tales configuraciones automatizadas y mejoradas para la imagen de muestras grandes utilizando EM aumentó en los últimos diez años2,3, y las obras que muestran impresionantes reconstrucciones densas o morfologías completas inmediatamente siguieron4, 5,6,7,8,9,10.
La producción de grandes conjuntos de datos venía con la necesidad de mejorar las canalizaciones para la segmentación de imágenes. Las herramientas de software para la segmentación manual de secciones en serie, como RECONSTRUCT y TrakEM211,12,fueron diseñadas para la microscopía electrónica de transmisión (TEM). Como todo el proceso puede llevar mucho tiempo, estas herramientas no son apropiadas cuando se trata de los miles de micrografías en serie que se pueden generar automáticamente con técnicas de sección serie EM automatizadas de última generación (3DEM), como microscopía electrónica de barrido de cara de bloque (SBEM)3 o microscopía electrónica de barrido de haz de iones focalizada (FIB-SEM)2. Por esta razón, los científicos se esfuerzan por desarrollar herramientas semiautomáticas, así como herramientas totalmente automatizadas, para mejorar la eficiencia de la segmentación. Las herramientas totalmente automatizadas, basadas en el aprendizaje automático13 o los algoritmos de clasificación de píxeles no entrenados de última generación14,se están mejorando para ser utilizados por una comunidad más grande; sin embargo, la segmentación todavía está lejos de ser totalmente confiable, y muchas obras todavía se basan en la mano de obra manual, que es ineficiente en términos de tiempo de segmentación, pero todavía proporciona una fiabilidad completa. Las herramientas semiautomáticas, como ilastik15, representan un mejor compromiso, ya que proporcionan una lectura inmediata para la segmentación que se puede corregir en cierta medida, aunque no proporciona un marco de corrección real y se puede integrar utilizando TrakEM2 en paralelo16.
La segmentación a gran escala es, hasta la fecha, en su mayoría limitada a la conectomica; por lo tanto, los científicos informáticos están más interesados en proporcionar marcos para visualizaciones integradas de grandes conjuntos de datos anotados y analizar patrones de conectividad inferidos por la presencia de contactos sinápticos17,18. Sin embargo, las reconstrucciones 3D precisas se pueden utilizar para análisis morfométricos cuantitativos, en lugar de evaluaciones cualitativas de las estructuras 3D. Herramientas como NeuroMorph19,20 y análisis de glucógeno10 se han desarrollado para tomar medidas en las reconstrucciones 3D para longitudes, superficies y volúmenes, y en la distribución de puntos de nube, completamente desechar la pila EM original8,10. Los astrocitos representan un estudio de caso interesante, porque la falta de pistas visuales o patrones estructurales repetitivos dan a los investigadores una pista sobre la función de las unidades estructurales individuales y la consecuente falta de una ontología adecuada de los procesos astrocíticos 21, dificulta el diseño de herramientas analíticas. Un intento reciente fue Abstractocyte22,que permite una exploración visual de los procesos astrocíticos y la inferencia de relaciones cualitativas entre procesos astrocíticos y neurótesis.
Sin embargo, la conveniencia de las imágenes de tejido seccionado bajo EM proviene del hecho de que la cantidad de información oculta en muestras cerebrales intactas es enorme y la interpretación de imágenes de una sola sección puede superar este problema. La densidad de las estructuras en el cerebro es tan alta que las reconstrucciones 3D de incluso unos pocos objetos visibles a la vez harían imposible distinguirlos visualmente. Por esta razón, recientemente propusimos el uso de la realidad virtual (VR) como un método mejorado para observar estructuras complejas. Nos centramos en los astrocitos23 para superar la oclusión (que es el bloqueo de la visibilidad de un objeto de interés con un segundo, en un espacio 3D) y facilitar las evaluaciones cualitativas de las reconstrucciones, incluida la corrección, así como las cuantificaciones de entidades que utilizan el recuento de puntos en el espacio. Recientemente combinamos la exploración visual de realidad virtual con el uso de GLAM (modelo de absorción de lactato derivado del glucógeno), una técnica para visualizar un mapa de probabilidad de lata de lanzadera de neuritas, considerando glycogen glycogen granulos como cuerpos emisores de luz23; en particular, utilizamos la realidad virtual para cuantificar los picos de luz producidos por GLAM.
El método presentado aquí es una guía útil paso a paso para la segmentación y reconstrucción 3D de un conjunto de datos EM multiescala, ya sea que provengan de técnicas de imagen de alta resolución, como FIB-SEM, u otras técnicas automatizadas de seccionamiento en serie e imágenes. FIB-SEM tiene la ventaja de alcanzar potencialmente la isotropía perfecta en tamaño voxel cortando secciones tan delgadas como 5 nm usando un haz de iones enfocado, su FOV podría limitarse a 15-20 m debido a los artefactos laterales, que son posiblemente debido a la deposición del tejido cortado si el FO V supera este valor. Tales artefactos se pueden evitar mediante el uso de otras técnicas, como SBEM, que utiliza un cuchillo de diamante para cortar secciones seriales dentro de la cámara del microscopio. En este último caso, la resolución z puede ser alrededor de 20 nm en el mejor de los casos (generalmente, 50 nm), pero el FOV podría ser más grande, aunque la resolución de píxeles debe verse comprometida para una vasta región de interés. Una solución para superar estas limitaciones (magnificación frente a FOV) es dividir la región de interés en los azulejos y adquirir cada una de ellas a una resolución más alta. Hemos mostrado aquí los resultados de un conjunto de datos de pila SBEM (i) en los resultados representativos y un conjunto de datos de pila FIB-SEM (ii) en los resultados representativos.
A medida que la generación de conjuntos de datos más grandes y grandes es cada vez más común, los esfuerzos en la creación de herramientas para la clasificación de píxeles y la segmentación automatizada de imágenes se multiplican; sin embargo, hasta la fecha, ningún software ha demostrado una fiabilidad comparable a la de la corrección humana, que por lo tanto sigue siendo necesaria, sin importar cuán lento sea. En general, los conjuntos de datos más pequeños que se pueden reducir, como en el caso del conjunto de datos (ii), pueden ser reconstruidos densamente por un único usuario experto en una semana, incluido el tiempo de corrección.
El protocolo presentado aquí implica el uso de tres programas de software en particular: Fiji (versión 2.0.0-rc-65/1.65b), ilastik (versión 1.3.2 rc2) y Blender (2.79), que son todos programas de código abierto y multiplataforma y se pueden descargar de forma gratuita. Fiji es una versión de ImageJ, impulsada por plugins para el análisis biológico de imágenes. Tiene una arquitectura de software robusta y se sugiere, ya que es una plataforma común para los científicos de la vida e incluye TrakEM2, uno de los primeros y más utilizados plugins para la segmentación de imágenes. Un problema experimentado por muchos usuarios últimamente es la transición de Java 6 a Java 8, que está creando problemas de compatibilidad; por lo tanto, sugerimos abstenerse de actualizar a Java 8, si es posible, para permitir que Fiji funcione correctamente. ilastik es un potente software que proporciona una serie de marcos para la clasificación de píxeles, cada uno documentado y explicado en su sitio web. El módulo de tallado utilizado para la segmentación semiautomática de pilas EM es conveniente, ya que ahorra mucho tiempo, lo que permite a los científicos reducir el tiempo dedicado al trabajo manual de meses a días para un usuario experimentado, ya que con un solo clic puede ser toda una neurita segmentado en segundos. El paso de preprocesamiento es muy intenso desde el punto de vista del hardware, y conjuntos de datos muy grandes, como la pila SBEM presentada aquí, que era de 26 GB, requieren estrategias peculiares para encajar en la memoria, teniendo en cuenta que uno adquiriría grandes conjuntos de datos porque no se puede compromiso y resolución. Por lo tanto, la reducción de la resolución podría no ser una solución adecuada en este caso. La última versión del software puede hacer el preprocesamiento en pocas horas con una potente estación de trabajo Linux, pero la segmentación tomaría minutos, y desplazarse a través de la pila todavía sería relativamente lento. Seguimos utilizando este método para una primera segmentación aproximada, y lo revisamos usando TrakEM2. Por último, Blender es un software de modelado 3D, con un potente motor de renderizado 3D, que se puede personalizar con scripts python que se pueden incrustar en la GUI principal como complementos, como NeuroMorph y análisis de glucógeno. La flexibilidad de este software viene con el inconveniente de que, a diferencia de Fiji, por ejemplo, no está diseñado para la visualización en línea de grandes conjuntos de datos; por lo tanto, visualizar y navegar a través de mallas grandes (superiores a 1 GB) podría ser lento y no eficiente. Debido a esto, siempre es aconsejable elegir técnicas que reduzcan la complejidad de la malla pero tengan cuidado de no interrumpir la morfología original de la estructura de interés. La función de remalla es útil y es una característica integrada de la herramienta de importación por lotes NeuroMorph. Un problema con esta función es que, dependiendo del número de vértices de la malla original, el valor de profundidad del octree, que está relacionado con la resolución final, debe modificarse en consecuencia. Los objetos pequeños se pueden volver a mallar con una pequeña profundidad de árbol (por ejemplo, 4), pero el mismo valor puede alterar la morfología de los objetos más grandes, que necesita valores más grandes (6 en el mejor de los casos, a 8 o incluso 9 para una malla muy grande, como una celda completa). Es aconsejable hacer este proceso iterativo y probar las diferentes profundidades del octree si el tamaño del objeto no es claro.
Como se mencionó anteriormente, un aspecto que debe tenerse en cuenta es el poder computacional que se dedicará a la reconstrucción y el análisis, relacionados con el software que se está utilizando. Todas las operaciones mostradas en los resultados representativos de este manuscrito se obtuvieron utilizando un MacPro, equipado con una tarjeta gráfica AMD FirePro D500, 64 GB de RAM y una CPU Intel Xeon E5 con 8 núcleos. Fiji tiene una buena arquitectura de software para el manejo de grandes conjuntos de datos; por lo tanto, se recomienda utilizar un portátil con un buen rendimiento de hardware, como un MacBook Pro con una CPU Intel i7 de 2,5 GHz y 16 GB de RAM. el software ilastik es más exigente en términos de recursos de hardware, en particular durante el paso de preprocesamiento. Aunque la reducción de la pila de imágenes es un buen truco para limitar las solicitudes de hardware del software y permite al usuario procesar una pila con un ordenador portátil (normalmente si está por debajo de 500 píxeles en x,y,z), sugerimos el uso de un high-end computadora para ejecutar este software sin problemas. Utilizamos una estación de trabajo equipada con una CPU Intel Xeon Gold 6150 con 16 núcleos y 500 GB de RAM.
Cuando se les proporciona una reconstrucción 3D precisa, los científicos pueden descartar las micrografías originales y trabajar directamente en los modelos 3D para extraer datos morfométricos útiles para comparar células del mismo tipo, así como diferentes tipos de células, y aprovechar la realidad virtual para evaluaciones cualitativas y cuantitativas de las morfologías. En particular, el uso de este último ha demostrado ser beneficioso en el caso de análisis de morfologías densas o complejas que presentan oclusión visual (es decir, el bloqueo de la visión de un objeto de interés en el espacio 3D por un segundo colocado entre el observador y el primer objeto), lo que dificulta representarlos y analizarlos en 3D. En el ejemplo presentado, un usuario experimentado tardó aproximadamente 4 horas no consecutivas en observar los conjuntos de datos y contar los objetos. El tiempo dedicado al análisis de realidad virtual puede variar, ya que aspectos como la enfermedad de la realidad virtual (que, en cierta medida, pueden estar relacionados con la enfermedad del automóvil) pueden tener un impacto negativo en la experiencia del usuario; en este caso, el usuario podría preferir otras herramientas de análisis y limitar su tiempo dedicado a la realidad virtual.
Por último, todos estos pasos se pueden aplicar a otras técnicas de microscopía y no EM que generan pilas de imágenes. EM genera imágenes que, en general, son difíciles de manejar y segmentar, en comparación con, por ejemplo, la microscopía de fluorescencia, donde algo comparable a una máscara binaria (señal frente a un fondo negro), que en principio se puede representar fácilmente en 3D para procesamiento adicional, a menudo es necesario tratarlo.
The authors have nothing to disclose.
Este trabajo fue apoyado por la King Abdullah University of Science and Technology (KAUST) Competitive Research Grants (CRG) grant “KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism” a P.J.M.
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |