Segmentación basada en aprendizaje profundo de tomogramas crioelectrónicos

Lo más emocionante de nuestro protocolo es que permite que cualquier laboratorio se ponga en marcha utilizando estos protocolos de aprendizaje profundo para segmentar grandes cantidades de datos crio-ET. La principal ventaja de nuestro flujo de trabajo es que Dragonfly proporciona un entorno computacional de nivel profesional para entrenar redes neuronales multiclase para la segmentación, y eso realmente puede acelerar drásticamente su proceso de segmentación. La segmentación de imágenes lleva tiempo para aprender, así que asegúrese de probar las herramientas y aprender los enlaces clave para ayudar realmente a optimizar su flujo de trabajo a lo largo del tiempo.

Después de configurar el software, continúe con la importación de imágenes yendo a Archivo y seleccionando Importar archivos de imagen. A continuación, haga clic en Agregar, navegue hasta el archivo de imagen, haga clic en Abrir y seleccione Siguiente, seguido de Finalizar. Cree una escala de intensidad personalizada yendo a Utilidades y seleccionando Dimension Unit Manager.

Haga clic en más en la parte inferior izquierda para crear una nueva unidad de dimensión. Elija una característica de alta y baja intensidad en todos los tomogramas de interés. Asigne a la unidad un nombre y una abreviatura y guarde la unidad de dimensión personalizada.

Para calibrar imágenes a la escala de intensidad personalizada, haga clic con el botón derecho en el conjunto de datos en la columna Propiedades en el lado derecho de la pantalla y seleccione Calibrar escala de intensidad. Luego, vaya a la pestaña principal en el lado izquierdo de la pantalla y desplácese hacia abajo hasta la sección de sonda. Con la herramienta de sonda circular con un diámetro adecuado, haga clic en algunos lugares de la región de fondo del tomograma y registre el número promedio en la columna de intensidad bruta.

Repita el procedimiento para los marcadores fiduciarios y haga clic en Calibrar. Si es necesario, ajuste el contraste para que las estructuras vuelvan a ser visibles con la herramienta de área en la sección de nivelación de ventanas de la pestaña principal. En el lado izquierdo de la pestaña principal, desplácese hacia abajo hasta el panel de procesamiento de imágenes.

Haga clic en Avanzado y espere a que se abra una nueva ventana. En el panel Propiedades, seleccione el conjunto de datos que desea filtrar y hágalo visible haciendo clic en el icono del ojo situado a la izquierda del conjunto de datos. A continuación, utilice el menú desplegable del panel de operaciones para seleccionar la ecualización del histograma para la primera operación.

Seleccione Agregar operación, haga clic en Gaussian y cambie la dimensión del kernel a 3D. Agregue la tercera operación, luego seleccione Quitar enfoque y deje la salida para esta. Aplique la ecualización a todos los sectores y deje que se ejecute el filtrado, luego cierre la ventana de procesamiento de imágenes para volver a la interfaz principal.

Para identificar el área de entrenamiento, vaya al panel de propiedades de datos ocultando primero el conjunto de datos sin filtrar haciendo clic en el icono del ojo a la izquierda. A continuación, muestre el conjunto de datos recién filtrado. Utilizando el conjunto de datos filtrado, identifique una subregión del tomograma que contenga todas las características de interés.

Ahora cree un cuadro alrededor de la región de interés desplazándose hacia abajo hasta la categoría Formas y seleccionando Crear un cuadro en el lado izquierdo de la pestaña principal. Mientras esté en el panel de cuatro vistas, use los diferentes planos 2D para ayudar a guiar o arrastrar los bordes de la caja para encerrar solo la región de interés en todas las dimensiones. En la lista de datos, seleccione la región del cuadro y cambie el color del borde para facilitar la visualización haciendo clic en el cuadrado gris junto al símbolo del ojo.

Para crear un ROI múltiple, seleccione la pestaña Segmentación, haga clic en Nuevo en el lado izquierdo y marque Crear como ROI múltiple. Asegúrese de que el número de clases corresponde al número de entidades de interés más una clase de fondo. Asigne un nombre a los datos de entrenamiento multi-ROI y asegúrese de que la geometría corresponde al conjunto de datos antes de hacer clic en Aceptar. A continuación, desplácese por los datos hasta que esté dentro de los límites de la región en caja.

Seleccione Multi-ROI en el menú Propiedades a la derecha. Haga doble clic en el primer nombre de clase en blanco en el ROI múltiple para asignarle un nombre. Para pintar con el pincel 2D, desplácese hacia abajo hasta Herramientas 2D en la pestaña Segmentación de la izquierda y seleccione un pincel circular.

Luego seleccione Adaptive Gaussian o Local OTSU en el menú desplegable, pinte manteniendo presionado el control izquierdo más el clic y borre manteniendo presionado el desplazamiento izquierdo más el clic. Una vez que se hayan etiquetado todas las estructuras, haga clic con el botón derecho en la clase de fondo en el ROI múltiple y seleccione Agregar todos los vóxeles sin etiquetar a la clase. A continuación, cree un nuevo ROI de clase única llamado Máscara.

Asegúrese de que la geometría esté establecida en el conjunto de datos filtrados y, a continuación, haga clic en Aplicar. En la pestaña Propiedades de la derecha, haga clic con el botón derecho en el cuadro, seleccione Agregar al ROI y agréguelo al ROI de la máscara. Para recortar los datos de entrenamiento usando la máscara, vaya a la pestaña Propiedades y seleccione los datos de entrenamiento, el ROI múltiple y el ROI de la máscara manteniendo presionada la tecla de control y haciendo clic en cada uno.

A continuación, haga clic en Intersecar debajo de la lista de propiedades de datos en la sección Operaciones booleanas. Asigne al nuevo conjunto de datos el nombre de entrada de entrenamiento recortada y asegúrese de que la geometría corresponde al conjunto de datos filtrado antes de hacer clic en Aceptar. Para importar los datos de entrenamiento al Asistente para segmentación, haga clic con el botón secundario en el conjunto de datos filtrado en la ficha Propiedades y seleccione la opción Asistente para segmentación. Una vez que se abra una nueva ventana, busque la pestaña Entrada en el lado derecho.

Haga clic en Importar fotogramas desde un ROI múltiple y seleccione la entrada Entrenamiento recortado. Para generar un nuevo modelo de red neuronal, haga clic en el botón más en el lado derecho de la pestaña del modelo. Seleccione U Net en la lista, seleccione 2,5 D y cinco sectores para la dimensión de entrada y, a continuación, haga clic en Generar.

Para entrenar la red, haga clic en Entrenar en la parte inferior derecha de la ventana de Seg Wiz. Una vez completado el entrenamiento de la unidad, utilice la red entrenada para segmentar nuevas tramas, crear una nueva trama y hacer clic en Predecir. A continuación, haga clic en la flecha hacia arriba en la parte superior derecha del fotograma previsto para transferir la segmentación al fotograma real.

Para corregir la predicción, mantenga presionada la tecla Control y haga clic en dos clases para cambiar los píxeles segmentados de una a otra. Seleccione ambas clases y pinte con el pincel para pintar solo los píxeles que pertenecen a cualquiera de las clases. Corrija la segmentación en al menos cinco nuevos fotogramas.

Para el entrenamiento iterativo, haga clic en el botón Entrenar nuevamente y permita que la red entrene más para otras 30 a 40 epopeyas más. En este punto, detenga el entrenamiento y comience otra ronda de entrenamiento. Cuando esté satisfecho con el rendimiento de la red, publique la red saliendo del Asistente para segmentación.

Aparece un cuadro de diálogo que pregunta qué modelos publicar. Seleccione la red correcta, asígnele un nombre y, a continuación, publíquela para que la red esté disponible para su uso fuera del Asistente para segmentación. En primer lugar, seleccione el conjunto de datos filtrados en el panel Propiedades para aplicarlo al tomograma de entrenamiento.

En el panel Segmentación de la izquierda, desplácese hacia abajo hasta la sección Segmento con IA. Asegúrese de que está seleccionado el conjunto de datos correcto. Elija el modelo publicado recientemente en el menú desplegable y luego haga clic en Segmento, seguido de Todos los sectores.

Para aplicarlo a un conjunto de datos de inferencia, importe el nuevo tomograma y preprocese como se demostró anteriormente. En el panel de segmentación, vaya a la sección segmento con IA. Asegúrese de que el tomograma recién filtrado es el conjunto de datos seleccionado, elija el modelo entrenado previamente, haga clic en el segmento y seleccione Todos los sectores.

Limpie rápidamente el ruido eligiendo primero una de las clases que tienen ruido segmentado y la característica de interés. A continuación, haga clic con el botón secundario en Islas de proceso, seleccione Eliminado por recuento de vóxel y, a continuación, haga clic en Seleccionar un tamaño de vóxel. Comience con recuentos pequeños y aumente gradualmente el conteo para eliminar la mayor parte del ruido.

Para la corrección de segmentación, mantenga presionada la tecla Control y haga clic en dos clases para pintar píxeles que pertenezcan solo a esas clases. Control-clic más arrastre con las herramientas de segmentación para cambiar los píxeles de la segunda clase a la primera y Mayús-clic más arrastre para lograr lo contrario. Se entrenó una unidad de cinco cortes en una sola tomografía y se realizó una segmentación de la mano para la entrada de entrenamiento.

Se muestra la segmentación 2D de la unidad después de completar el entrenamiento. La representación 3D de las regiones segmentadas muestra membrana, microtúbulos y filamentos de actina. Se muestran las neuronas DIV 5 de rata del hipocampo de la misma sesión que el tomograma de entrenamiento.

Segmentación 2D de la unidad sin capacitación adicional en limpieza rápida mostró membranas, microtúbulos, actina y fiduciarios. También se visualizó la representación 3D de las regiones segmentadas. También se observó la neurona de rata del hipocampo DIV 5 de una sesión anterior.

También se realizó segmentación 2D desde la unidad con limpieza rápida y renderizado 3D. La neurona de rata del hipocampo DIV 5 también se observó en un Titán Krios diferente con un aumento diferente. El tamaño de píxel se ha cambiado con la bóveda de compresión del programa IMOD para que coincida con el tomograma de entrenamiento.

La segmentación 2D de la unidad con limpieza rápida demuestra una inferencia sólida en conjuntos de datos con un preprocesamiento adecuado, y se realizó una representación 3D de la segmentación. El preprocesamiento de los datos de forma idéntica y la calibración de los histogramas son definitivamente los pasos más importantes para la inferencia adecuada de la red. Una vez que se conoce la ubicación de las moléculas dentro del tomograma, es realmente trivial dentro de Dragonfly calcular mediciones cuantitativas o calcular coordenadas y alimentarlas en una tubería de promedio de subtomograma.

Solo estamos empezando a ver los efectos del aprendizaje profundo en el análisis de imágenes crio-ET, pero esta es solo un área más donde muestra una promesa realmente inmensa.