Summary
Este tutorial describe un método simple para construir un algoritmo de aprendizaje profundo para realizar la clasificación de secuencias de 2 clases de datos metagenómicos.
Abstract
Una variedad de tareas de clasificación de secuencias biológicas, como la clasificación de especies, la clasificación de la función génica y la clasificación del huésped viral, son procesos esperados en muchos análisis de datos metagenómicos. Dado que los datos metagenómicos contienen un gran número de nuevas especies y genes, se necesitan algoritmos de clasificación de alto rendimiento en muchos estudios. Los biólogos a menudo enfrentan desafíos para encontrar herramientas adecuadas de clasificación y anotación de secuencias para una tarea específica y, a menudo, no pueden construir un algoritmo correspondiente por sí mismos debido a la falta del conocimiento matemático y computacional necesario. Las técnicas de aprendizaje profundo se han convertido recientemente en un tema popular y muestran fuertes ventajas en muchas tareas de clasificación. Hasta la fecha, se han desarrollado muchos paquetes de aprendizaje profundo altamente empaquetados, que hacen posible que los biólogos construyan marcos de aprendizaje profundo de acuerdo con sus propias necesidades sin un conocimiento profundo de los detalles del algoritmo. En este tutorial, proporcionamos una guía para construir un marco de aprendizaje profundo fácil de usar para la clasificación de secuencias sin la necesidad de suficientes conocimientos matemáticos o habilidades de programación. Todo el código está optimizado en una máquina virtual para que los usuarios puedan ejecutar directamente el código utilizando sus propios datos.
Introduction
La técnica de secuenciación metagenómica evita el proceso de aislamiento de la deformación y secuencia directamente el ADN total en una muestra ambiental. Por lo tanto, los datos metagenómicos contienen ADN de diferentes organismos, y la mayoría de las secuencias biológicas son de organismos nuevos que no están presentes en la base de datos actual. De acuerdo con diferentes propósitos de investigación, los biólogos necesitan clasificar estas secuencias desde diferentes perspectivas, como la clasificación taxonómica1,la clasificaciónvirus-bacteria2,3,4, laclasificación cromosoma-plásmido3,5,6, 7y la anotación de la funcióngénica(como la clasificación del gen de resistencia a los antibióticos8 y la clasificación del factor de virulencia9 ). Debido a que los datos metagenómicos contienen un gran número de nuevas especies y genes, los algoritmos ab initio, que no se basan en bases de datos conocidas para la clasificación de secuencias (incluida la clasificación de ADN y la clasificación de proteínas), son un enfoque importante en el análisis de datos metagenómicos. Sin embargo, el diseño de tales algoritmos requiere conocimientos profesionales de matemáticas y habilidades de programación; por lo tanto, muchos biólogos y principiantes en diseño de algoritmos tienen dificultades para construir un algoritmo de clasificación que se adapte a sus propias necesidades.
Con el desarrollo de la inteligencia artificial, los algoritmos de aprendizaje profundo han sido ampliamente utilizados en el campo de la bioinformática para completar tareas como la clasificación de secuencias en el análisis metagenómico. Para ayudar a los principiantes a comprender los algoritmos de aprendizaje profundo, describimos el algoritmo de una manera fácil de entender a continuación.
En la Figura 1se muestra una descripción general de una técnica de aprendizaje profundo. La tecnología central de un algoritmo de aprendizaje profundo es una red neuronal artificial, que se inspira en la estructura del cerebro humano. Desde un punto de vista matemático, una red neuronal artificial puede considerarse como una función compleja. Cada objeto (como una secuencia de ADN, una foto o un video) se digitaliza primero. A continuación, el objeto digitalizado se importa a la función. La tarea de la red neuronal artificial es dar una respuesta correcta de acuerdo con los datos de entrada. Por ejemplo, si se construye una red neuronal artificial para realizar una tarea de clasificación de 2 clases, la red debe generar una puntuación de probabilidad que esté entre 0-1 para cada objeto. La red neuronal debe dar al objeto positivo una puntuación más alta (como una puntuación superior a 0,5) mientras que le da al objeto negativo una puntuación más baja. Para obtener este objetivo, se construye una red neuronal artificial con los procesos de entrenamiento y prueba. Durante estos procesos, los datos de la base de datos conocida se descargan y luego se dividen en un conjunto de entrenamiento y un conjunto de pruebas. Cada objeto se digitaliza de manera adecuada y se le da una etiqueta ("1" para objetos positivos y "0" para objetos negativos). En el proceso de entrenamiento, los datos digitalizados en el conjunto de entrenamiento se ingresan en la red neuronal. La red neuronal artificial construye una función de pérdida que representa la disimilitud entre la puntuación de salida del objeto de entrada y la etiqueta correspondiente del objeto. Por ejemplo, si la etiqueta del objeto de entrada es "1" mientras que la puntuación de salida es "0.1", la función de pérdida será alta; y si la etiqueta del objeto de entrada es "0" mientras que la puntuación de salida es "0.1", la función de pérdida será baja. La red neuronal artificial emplea un algoritmo iterativo específico que ajusta los parámetros de la red neuronal para minimizar la función de pérdida. El proceso de entrenamiento termina cuando la función de pérdida no se puede disminuir aún más. Finalmente, los datos en el conjunto de prueba se utilizan para probar la red neuronal fija, y se evalúa la capacidad de la red neuronal para calcular las etiquetas correctas para los nuevos objetos. Se pueden encontrar más principios de algoritmos de aprendizaje profundo en la revisión en LeCun et al. 10.
Aunque los principios matemáticos de los algoritmos de aprendizaje profundo pueden ser complejos, recientemente se han desarrollado muchos paquetes de aprendizaje profundo altamente empaquetados, y los programadores pueden construir directamente una red neuronal artificial simple con unas pocas líneas de código.
Para ayudar a los biólogos y principiantes en el diseño de algoritmos a comenzar a usar el aprendizaje profundo más rápidamente, este tutorial proporciona una guía para construir un marco de aprendizaje profundo fácil de usar para la clasificación de secuencias. Este marco utiliza la forma de codificación "one-hot" como modelo matemático para digitalizar las secuencias biológicas y utiliza una red neuronal de convolución para realizar la tarea de clasificación (ver el Material Suplementario). Lo único que los usuarios deben hacer antes de usar esta guía es preparar cuatro archivos de secuencia en formato "fasta". El primer archivo contiene todas las secuencias de la clase positiva para el proceso de entrenamiento (referido a "p_train.fasta"); el segundo archivo contiene todas las secuencias de la clase negativa para el proceso de entrenamiento (denominada "n_train.fasta"); el tercer archivo contiene todas las secuencias de la clase positiva para el proceso de prueba (denominada "p_test.fasta"); y el último archivo contiene todas las secuencias de la clase negativa para el proceso de prueba (denominada "n_test.fasta"). La descripción general del diagrama de flujo de este tutorial se proporciona en la Figura 2,y se mencionarán más detalles a continuación.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. La instalación de la máquina virtual
- Descargue el archivo de la máquina virtual desde (https://github.com/zhenchengfang/DL-VM).
- Descargue el software VirtualBox desde https://www.virtualbox.org.
- Descomprima el archivo ".7z" utilizando software relacionado, como "7-Zip", "WinRAR" o "WinZip".
- Instale el software VirtualBox haciendo clic en el botón Siguiente en cada paso.
- Abra el software VirtualBox y haga clic en el botón Nuevo para crear una máquina virtual.
- Paso 6: Ingrese el nombre de la máquina virtual especificado en el marco "Nombre", seleccione Linux como el sistema operativo en el marco "Tipo", seleccione Ubuntu en el marco "Versión" y haga clic en el botón Siguiente.
- Asigne el tamaño de memoria de la máquina virtual. Se recomienda que los usuarios tiren del botón a la parte más a la derecha de la barra verde para asignar la mayor cantidad de memoria posible a la máquina virtual y, a continuación, hagan clic en el botón Siguiente.
- Elija la selección Usar un archivo de disco duro virtual existente, seleccione el archivo "VM_Bioinfo.vdi" descargado del paso 1.1 y luego haga clic en el botón Crear.
- Haga clic en el botón Estrella para abrir la máquina virtual.
NOTA: La figura 3 muestra la captura de pantalla del escritorio de la máquina virtual.
2. Crear carpetas compartidas para el intercambio de archivos entre el host físico y la máquina virtual
- En el host físico, cree una carpeta compartida denominada "shared_host", y en el escritorio de la máquina virtual, cree una carpeta compartida denominada "shared_VM".
- En la barra de menús de la máquina virtual, haga clic en Dispositivos, Carpeta compartida, Configuración de carpetas compartidas sucesivamente.
- Haga clic en el botón en la esquina superior derecha.
- Seleccione la carpeta compartida en el host físico creado en el paso 2.1 y seleccione la opción Montaje automático. Haga clic en el botón Aceptar.
- Reinicie la máquina virtual.
- Haga clic con el botón derecho en el escritorio de la máquina virtual y abra el terminal.
- Copie el siguiente comando en el terminal:
montaje sudo -t vboxsf shared_host ./Desktop/shared_VM- Cuando se le solicite una contraseña, ingrese "1" y presione la tecla"Enter",como se muestra en la Figura 4.
3. Preparar los archivos para el conjunto de entrenamiento y el conjunto de pruebas
- Copie los cuatro archivos de secuencia en formato "fasta" para el proceso de entrenamiento y prueba en la carpeta "shared_host" del host físico. De esta manera, todos los archivos también se producirán en la carpeta "shared_VM" de la máquina virtual. Luego, copie los archivos en la carpeta "shared_VM" a la carpeta "DeepLearning" de la máquina virtual.
4. Digitalizar las secuencias biológicas utilizando la forma de codificación "one-hot"
- Vaya a la carpeta "DeepLearning", haga clic con el botón derecho y abra el terminal. Escriba el siguiente comando:
./onehot_encoding p_train.fasta n_train.fasta p_test.fasta n_test.fasta aa
(para secuencias de aminoácidos)
o
./onehot_encoding p_train.fasta n_train.fasta p_test.fasta n_test.fasta nt
(para secuencias de ácidos nucleicos)
NOTA: En la figura 5se proporciona una captura de pantalla de este proceso.
5. Entrena y prueba la red neuronal artificial
- En el terminal, escriba el siguiente comando como se muestra en la Figura 6:
train.py python
NOTA: Comenzará el proceso de capacitación.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
En nuestro trabajo anterior, desarrollamos una serie de herramientas de clasificación de secuencias para datos metagenómicos utilizando un enfoque similar a este tutorial3,11,12. Como ejemplo, depositamos los archivos de secuencia del subconjunto de conjunto de entrenamiento y conjunto de prueba de nuestro trabajo anterior3,11 en la máquina virtual.
Fang & Zhou11 tuvo como objetivo identificar las proteínas completas y parciales del virión del virus procariota a partir de datos de viroma. El archivo "p_train.fasta" contiene los fragmentos de proteína virión del virus para el conjunto de entrenamiento; el archivo "n_train.fasta" contiene los fragmentos de proteína no virtual del virus para el conjunto de entrenamiento; el archivo "p_test.fasta" contiene los fragmentos de proteína virión del virus para el conjunto de pruebas; y el archivo "n_test.fasta" contiene los fragmentos de proteína no virtual del virus para el conjunto de pruebas. El usuario puede ejecutar directamente los siguientes dos comandos para construir la red neuronal:
./onehot_encoding p_train.fasta n_train.fasta p_test.fasta n_test.fasta aa
y
train.py python
El rendimiento se muestra en la Figura 7.
Fang et al.3 tenían como objetivo identificar fragmentos de ADN de fagos a partir de fragmentos de ADN cromosómico bacteriano en datos metagenómicos. El archivo "phage_train.fasta" contiene los fragmentos de ADN de fagos para el conjunto de entrenamiento; el archivo "chromosome_train.fasta" contiene los fragmentos de ADN cromosómico para el conjunto de entrenamiento; el archivo "phage_test.fasta" contiene los fragmentos de ADN de fagos para el conjunto de pruebas; y el archivo "chromosome_test.fasta" contiene los fragmentos de ADN cromosómico para el conjunto de pruebas. El usuario puede ejecutar directamente los siguientes dos comandos para construir la red neuronal:
./onehot_encoding phage_train.fasta chromosome_train.fasta phage_test.fasta chromosome_test.fasta nt
y
train.py python
El rendimiento se muestra en la Figura 8.
Vale la pena señalar que debido a que el algoritmo contiene algunos procesos que tienen aleatoriedad, los resultados anteriores pueden ser ligeramente diferentes si los usuarios vuelven a ejecutar el script.
Figura 1. Descripción general de la técnica de aprendizaje profundo. Haga clic aquí para ver una versión más grande de esta figura.
Figura 2. Descripción general del diagrama de flujo de este tutorial. Haga clic aquí para ver una versión más grande de esta figura.
Figura 3. Captura de pantalla del escritorio de la máquina virtual. Haga clic aquí para ver una versión más grande de esta figura.
Figura 4. Captura de pantalla de la activación de las carpetas compartidas. Haga clic aquí para ver una versión más grande de esta figura.
Figura 5. La captura de pantalla del proceso de digitalización de secuencias. Haga clic aquí para ver una versión más grande de esta figura.
Figura 6. Entrena y prueba la red neuronal artificial. Haga clic aquí para ver una versión más grande de esta figura.
Figura 7. El rendimiento de la identificación de fragmentos de proteína virión del virus procariota. Los criterios de evaluación son Sn=TP/(TP+FN), Sp=TN/(TN+FP), Acc=(TP+TN)/(TP+TN+FN+FP) y AUC. Haga clic aquí para ver una versión más grande de esta figura.
Figura 8. La realización de la identificación de fragmentos de ADN de fagos. Los criterios de evaluación son Sn=TP/(TP+FN), Sp=TN/(TN+FP), Acc=(TP+TN)/(TP+TN+FN+FP) y AUC. Haga clic aquí para ver una versión más grande de esta figura.
Material complementario: Haga clic aquí para descargar este archivo.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Este tutorial proporciona una visión general para biólogos y principiantes en diseño de algoritmos sobre cómo construir un marco de aprendizaje profundo fácil de usar para la clasificación de secuencias biológicas en datos metagenómicos. Este tutorial tiene como objetivo proporcionar una comprensión intuitiva del aprendizaje profundo y abordar el desafío que los principiantes a menudo tienen dificultades para instalar el paquete de aprendizaje profundo y escribir el código para el algoritmo. Para algunas tareas de clasificación simples, los usuarios pueden usar el marco para realizar las tareas de clasificación.
Teniendo en cuenta que muchos biólogos no están familiarizados con la línea de comandos del sistema operativo Linux, preinstalamos todo el software dependiente en una máquina virtual. De esta manera, el usuario puede ejecutar directamente el código en la máquina virtual siguiendo el protocolo mencionado anteriormente. Además, si los usuarios están familiarizados con el sistema operativo Linux y la programación de Python, también pueden ejecutar este protocolo directamente en el servidor o PC local. De esta manera, el usuario debe preinstalar el siguiente software dependiente:
Python 2.7.12 (https://www.python.org/)
Paquetes de Python:
numpy 1.13.1 (http://www.numpy.org/)
h5py 2.6.0 (http://www.h5py.org/)
TensorFlow 1.4.1 (https://www.tensorflow.org/)
Keras 2.0.8 (https://keras.io/)
MATLAB Component Runtime (MCR) R2018a (https://www.mathworks.com/products/compiler/matlab-runtime.html)
El manual de nuestro trabajo anterior3 tiene una breve descripción de la instalación. Tenga en cuenta que el número de versión de cada paquete corresponde a la versión que utilizamos en el código. La ventaja de ejecutar el código en el servidor o PC local sin la máquina virtual es que el código puede acelerarse con una GPU de esta manera, lo que puede ahorrar mucho tiempo en el proceso de entrenamiento. De esta manera, el usuario debe instalar la versión GPU de TensorFlow (ver el manual de trabajo anterior3).
Algunos de los pasos críticos dentro del protocolo se describen a continuación. En el paso 4.1, los nombres de archivo de "p_train.fasta", "n_train.fasta", "p_test.fasta" y "n_test.fasta" deben reemplazarse por los nombres de archivo utilizados. El orden de estos cuatro archivos en este comando no se puede cambiar. Si los archivos contienen secuencias de aminoácidos, el último parámetro debe ser "aa"; si los archivos contienen secuencias de ácidos nucleicos, el último parámetro debe ser "nt". Este comando utiliza el formulario de codificación "one-hot" para digitalizar las secuencias biológicas. En el Material Complementario se proporciona una introducción del formulario de codificación "one-hot". En el paso 5.1, debido a que la máquina virtual no se puede acelerar con la GPU, este proceso puede tardar unas horas o varios días, dependiendo del tamaño de los datos. Las barras de progreso para cada época de iteración se muestran en el terminal. Establecemos el número de épocas en 50 y, por lo tanto, se mostrarán un total de 50 barras de progreso cuando finalice el proceso de entrenamiento. Cuando finalice el proceso de prueba, la precisión del conjunto de prueba se mostrará en el terminal. En la carpeta "DeepLearning" de la máquina virtual, se creará un archivo denominado "predict.csv". Este archivo contiene todas las puntuaciones de predicción para los datos de la prueba. El orden de estas puntuaciones corresponde al orden de secuencia en "p_test.fasta" y "n_test.fasta" (la primera mitad de estas puntuaciones corresponde a "p_test.fasta", mientras que la segunda mitad de estas puntuaciones corresponde a "n_test.fatsa"). Si los usuarios desean hacer predicciones para las secuencias cuyas clases verdaderas son desconocidas, también pueden depositar estas secuencias desconocidas en el archivo "p_test.fasta" o "n_test.fasta". De esta manera, las puntuaciones de estas secuencias desconocidas también se mostrarán en el archivo "predict.csv", pero la visualización de "precisión" en el terminal no tiene sentido. Este script emplea una red neuronal convolucional para realizar la clasificación. La estructura de la red neuronal y el código para la red neuronal se muestran en el Material Suplementario.
Una de las características del aprendizaje profundo es que muchas configuraciones de parámetros requieren cierta experiencia, lo que puede ser un gran desafío para los principiantes. Para evitar la aprehensión de principiantes causada por una gran cantidad de fórmulas, no nos centramos en los principios matemáticos del aprendizaje profundo, y en la máquina virtual, no proporcionamos una interfaz especial de configuración de parámetros. Aunque esta puede ser una buena opción para los principiantes, la selección inadecuada de parámetros también puede conducir a una disminución de la precisión. Para permitir a los principiantes experimentar mejor cómo modificar los parámetros, en el script "train.py", agregamos algunos comentarios al código relacionado, y los usuarios pueden modificar los parámetros relacionados, como el número de núcleos de convolución, para ver cómo estos parámetros afectan el rendimiento.
Además, muchos programas de aprendizaje profundo deben ejecutarse bajo una GPU. Sin embargo, la configuración de la GPU también requiere cierta habilidad informática que puede ser difícil para los profesionales que no son informáticos; por lo tanto, elegimos optimizar el código en una máquina virtual.
Al resolver otras tareas de clasificación de secuencias basadas en esta guía, los usuarios solo necesitan reemplazar los cuatro archivos de secuencia con sus propios datos. Por ejemplo, si los usuarios necesitan distinguir secuencias derivadas de plásmidos y cromosomas en datos metagenómicos, pueden descargar directamente genomas de plásmidos (https://ftp.ncbi.nlm.nih.gov/refseq/release/plasmid/) y genomas de cromosomas bacterianos (https://ftp.ncbi.nlm.nih.gov/refseq/release/bacteria/) de la base de datos RefSeq y separar los genomas en un conjunto de entrenamiento y un conjunto de pruebas. Vale la pena señalar que las secuencias de ADN en los datos metagenómicos a menudo están fragmentadas en lugar de genomas completos. En tales casos, los usuarios pueden usar la herramienta MetaSim13 para extraer el fragmento de ADN del genoma completo. MetaSim es una herramienta fácil de usar con una interfaz GUI, y los usuarios pueden terminar la mayoría de las operaciones usando el mouse sin escribir ningún comando en el teclado. Para simplificar la operación para principiantes, nuestro tutorial está diseñado para una tarea de clasificación de dos clases. Sin embargo, necesitamos realizar la multiclasificación en muchas tareas. En tales casos, los principiantes pueden intentar separar la tarea de multiclasificación en varias tareas de clasificación de dos clases. Por ejemplo, para identificar el huésped de fagos, Zhang et al. construyeron 9 clasificadores de dos clases para identificar si una secuencia de fagos dada puede infectar a un determinado huésped.
La página de inicio de este tutorial se deposita en el sitio de GitHub https://github.com/zhenchengfang/DL-VM. Cualquier actualización del tutorial se describirá en el sitio web. Los usuarios también pueden plantear sus preguntas sobre este tutorial en el sitio web.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Los autores declaran que no hay conflictos de intereses.
Acknowledgments
Esta investigación fue apoyada financieramente por la Fundación Nacional de Ciencias Naturales de China (81925026, 82002201, 81800746, 82102508).
Materials
| Name | Company | Catalog Number | Comments |
| PC or server | NA | NA | Suggested memory: >6GB |
| VirtualBox software | NA | NA | Link: https://www.virtualbox.org |
References
- Liang, Q., Bible, P. W., Liu, Y., Zou, B., Wei, L. DeepMicrobes: taxonomic classification for metagenomics with deep learning. NAR Genomics and Bioinformatics. 2 (1), (2020).
- Ren, J., et al. VirFinder: a novel k -mer based tool for identifying viral sequences from assembled metagenomic data. Microbiome. 5 (1), 69 (2017).
- Fang, Z., et al. PPR-Meta: a tool for identifying phages and plasmids from metagenomic fragments using deep learning. GigaScience. 8 (6), (2019).
- Ren, J., et al. Identifying viruses from metagenomic data using deep learning. Quantitative Biology. 8 (1), 64-77 (2020).
- Zhou, F., Xu, Y. cBar: a computer program to distinguish plasmid-derived from chromosome-derived sequence fragments in metagenomics data. Bioinformatics. 26 (16), 2051-2052 (2010).
- Krawczyk, P. S., Lipinski, L., Dziembowski, A. PlasFlow: predicting plasmid sequences in metagenomic data using genome signatures. Nucleic Acids Research. 46 (6), (2018).
- Pellow, D., Mizrahi, I., Shamir, R. PlasClass improves plasmid sequence classification. PLOS Computational Biology. 16 (4), (2020).
- Arango-Argoty, G., et al. DeepARG: a deep learning approach for predicting antibiotic resistance genes from metagenomic data. Microbiome. 6 (1), 1-15 (2018).
- Zheng, D., Pang, G., Liu, B., Chen, L., Yang, J. Learning transferable deep convolutional neural networks for the classification of bacterial virulence factors. Bioinformatics. 36 (12), 3693-3702 (2020).
- LeCun, Y., Bengio, Y., Hinton, G. Deep learning. Nature. 521 (7553), 436-444 (2015).
- Fang, Z., Zhou, H. VirionFinder: Identification of Complete and Partial Prokaryote Virus Virion Protein From Virome Data Using the Sequence and Biochemical Properties of Amino Acids. Frontiers in Microbiology. 12, 615711 (2021).
- Fang, Z., Zhou, H. Identification of the conjugative and mobilizable plasmid fragments in the plasmidome using sequence signatures. Microbial Genomics. 6 (11), (2020).
- Richter, D. C., Ott, F., Auch, A. F., Schmid, R., Huson, D. H. MetaSim-a sequencing simulator for genomics and metagenomics. PLoS One. 3 (10), 3373 (2008).
- Zhang, M., et al. Prediction of virus-host infectious association by supervised learning methods. BMC Bioinformatics. 18 (3), 143-154 (2017).
