Summary
Se introduce un protocolo de segmentación de objetos para imágenes de tomografía computarizada (TC) orbital. Los métodos para etiquetar la verdad en tierra de las estructuras orbitales mediante el uso de superresolución, extraer el volumen de interés de las imágenes de TC y modelar la segmentación de múltiples etiquetas utilizando U-Net secuencial 2D para imágenes de TC orbitales se explican para el aprendizaje supervisado.
Abstract
Recientemente, los modelos de segmentación basados en el aprendizaje profundo se han aplicado ampliamente en el campo oftálmico. Este estudio presenta el proceso completo de construcción de un modelo de segmentación de tomografía computarizada orbital (TC) basado en U-Net. Para el aprendizaje supervisado, se requiere un proceso laborioso y lento. Se introduce el método de etiquetado con súper resolución para enmascarar eficientemente la verdad del suelo en las imágenes de TC orbitales. Además, el volumen de interés se recorta como parte del preprocesamiento del conjunto de datos. Luego, después de extraer los volúmenes de interés de las estructuras orbitales, el modelo para segmentar las estructuras clave de la TC orbital se construye utilizando U-Net, con cortes 2D secuenciales que se utilizan como entradas y dos memorias cortas convolucionales bidireccionales a largo plazo para conservar las correlaciones entre cortes. Este estudio se centra principalmente en la segmentación del globo ocular, el nervio óptico y los músculos extraoculares. La evaluación de la segmentación revela la aplicación potencial de la segmentación a las imágenes orbitales de TC utilizando métodos de aprendizaje profundo.
Introduction
La órbita es un espacio pequeño y complicado de aproximadamente 30,1cm3 que contiene estructuras importantes como el globo ocular, los nervios, los músculos extraoculares, los tejidos de soporte y los vasos para la visión y los movimientos del globo ocular1. Los tumores orbitarios son crecimientos anormales de tejido en la órbita, y algunos de ellos amenazan la visión o el movimiento del globo ocular de los pacientes, lo que puede conducir a una disfunción fatal. Para conservar la función visual de los pacientes, los médicos deben decidir sobre las modalidades de tratamiento en función de las características del tumor, y una biopsia quirúrgica es generalmente inevitable. Esta área compacta y abarrotada a menudo hace que sea difícil para los médicos realizar una biopsia sin dañar la estructura normal. El análisis de imágenes de patología basado en el aprendizaje profundo para determinar la condición de la órbita podría ayudar a evitar lesiones innecesarias o evitables en los tejidos orbitarios durante la biopsia2. Un método de análisis de imágenes para los tumores orbitarios es la detección y segmentación de tumores. Sin embargo, la recolección de grandes cantidades de datos para imágenes de TC que contienen tumores orbitarios es limitada debido a su baja incidencia3. El otro método eficiente para el diagnóstico computacional de tumores4 consiste en comparar el tumor con las estructuras normales de la órbita. El número de imágenes de TC orbitaria en estructuras normales es relativamente mayor que en los tumores. Por lo tanto, la segmentación de las estructuras orbitales normales es el primer paso para lograr este objetivo.
Este estudio presenta todo el proceso de segmentación de la estructura orbital basada en el aprendizaje profundo, incluida la recopilación de datos, el preprocesamiento y el modelado posterior. El estudio pretende ser un recurso para los médicos interesados en utilizar el método actual para generar eficientemente un conjunto de datos enmascarados y para los oftalmólogos que requieren información sobre el preprocesamiento y el modelado de imágenes de TC orbitaria. Este artículo presenta un nuevo método para la segmentación de la estructura orbital y secuencial de U-Net, un modelo de segmentación 2D secuencial basado en una solución representativa de aprendizaje profundo en U-Net para la segmentación de imágenes médicas. El protocolo describe el procedimiento detallado de segmentación de órbitas, que incluye (1) cómo usar una herramienta de enmascaramiento para la verdad sobre el terreno de la segmentación de la estructura orbital, (2) los pasos necesarios para el preprocesamiento de las imágenes orbitales, y (3) cómo entrenar el modelo de segmentación y evaluar el rendimiento de segmentación.
Para el aprendizaje supervisado, cuatro oftalmólogos experimentados que habían sido certificados por la junta durante más de 5 años anotaron manualmente las máscaras del globo ocular, el nervio óptico y los músculos extraoculares. Todos los oftalmólogos utilizaron el programa de software de enmascaramiento (MediLabel, consulte la Tabla de materiales), que utiliza superresolución para un enmascaramiento eficiente en las tomografías computarizadas. El software de enmascaramiento tiene las siguientes características semiautomáticas: (1) SmartPencil, que genera grupos de mapas de súper píxeles con valores similares de intensidad de imagen5; (2) SmartFill, que genera máscaras de segmentación calculando la función energética del primer plano y el fondo en curso 6,7; y (3) Autocorrección, que hace que los bordes de las máscaras de segmentación sean limpios y consistentes con la imagen original. En la figura 1 se muestran imágenes de ejemplo de las entidades semiautomáticas. Los pasos detallados del enmascaramiento manual se proporcionan en la sección de protocolo (paso 1).
El siguiente paso es el preprocesamiento de las tomografías computarizadas orbitarias. Para obtener los volúmenes orbitales de interés (VOI), se identifican las áreas de la órbita donde se encuentran el globo ocular, el músculo y el nervio en condiciones normales, y estas áreas se recortan. El conjunto de datos tiene una alta resolución, con una resolución de vóxel en el plano de <1 mm y un grosor de corte, por lo que se omite el proceso de interpolación. En su lugar, el recorte de ventanas se realiza en el nivel de recorte de 48 HU y en la ventana de 400 HU. Después del recorte y el recorte de ventanas, se generan tres cortes en serie de los VOI de órbita para la entrada8 del modelo de segmentación. La sección de protocolo (paso 2) proporciona detalles sobre los pasos de preprocesamiento.
U-Net9 es un modelo de segmentación ampliamente utilizado para imágenes médicas. La arquitectura U-Net comprende un codificador, que extrae las características de las imágenes médicas, y un decodificador, que presenta las características discriminatorias semánticamente. Cuando se emplea U-Net para tomografías computarizadas, las capas convolucionales consisten en filtros 3D10,11. Esto es un desafío porque el cálculo de filtros 3D requiere una gran capacidad de memoria. Para reducir los requisitos de memoria para 3D U-Net, se propuso SEQ-UNET8, en el que se utiliza un conjunto de cortes 2D secuenciales en U-Net. Para evitar la pérdida de correlaciones espaciotemporales entre los cortes de imagen 2D de la tomografía computarizada 3D, se emplean dos memorias cortas convolucionales bidireccionales a largo plazo (C-LSTM)12 en U-Net básica. El primer C-LSTM bidireccional extrae las correlaciones entre cortes al final del codificador. El segundo C-LSTM bidireccional, después de la salida del decodificador, transforma la información de segmentación semántica en las dimensiones de la secuencia de corte en una sola segmentación de imagen. La arquitectura de SEQ-UNET se muestra en la Figura 2. Los códigos de implementación están disponibles en github.com/SleepyChild1005/OrbitSeg, y el uso de los códigos se detalla en la sección de protocolo (paso 3).
Protocol
El presente trabajo se realizó con la aprobación de la Junta de Revisión Institucional (IRB) del Centro Médico Católico, y se protegió la privacidad, confidencialidad y seguridad de la información de salud. Los datos de la TC orbital se recopilaron (de sujetos humanos no identificados) de hospitales afiliados a la Facultad de Medicina de la Universidad Católica de Corea (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital y St. Vincent Hospital). Las tomografías computarizadas orbitales se obtuvieron desde enero de 2016 hasta diciembre de 2020. El conjunto de datos contenía 46 tomografías computarizadas orbitales de hombres y mujeres coreanos con edades comprendidas entre 20 y 60 años. El entorno de tiempo de ejecución (RTE) se resume en la Tabla complementaria 1.
1. Enmascarar el globo ocular, el nervio óptico y los músculos extraoculares en las tomografías computarizadas orbitarias
- Ejecute el programa de software de enmascaramiento.
NOTA: El programa de software de enmascaramiento (MediLabel, consulte la Tabla de materiales) es un programa de software de etiquetado de imágenes médicas para la segmentación, que requiere pocos clics y tiene alta velocidad. - Cargue la TC orbital haciendo clic en el icono de abrir archivo y seleccionando el archivo CT de destino. Luego, las tomografías computarizadas se muestran en la pantalla.
- Enmascare el globo ocular, el nervio óptico y los músculos extraoculares con superpíxeles.
- Ejecute el SmartPencil haciendo clic en el asistente de SmartPencil en MediLabel (Video 1).
- Controle la resolución del mapa de superpíxeles si es necesario (por ejemplo, 100, 500, 1.000 y 2.000 superpíxeles).
- Haga clic en el grupo de superpíxeles del globo ocular, el nervio óptico y los músculos extraoculares en el mapa de superpíxeles, donde se agrupan píxeles de valores de intensidad de imagen similares.
- Refine las máscaras con las funciones de autocorrección en MediLabel.
- Haga clic en el asistente SmartFill después de enmascarar algunos de los superpíxeles de los sectores (Video 2).
- Haga clic en el icono de Autocorrección y asegúrese de que se calculan las etiquetas de máscara corregidas (Video 3).
- Repita los pasos 1.3 y 1.4 hasta que se complete el refinamiento del enmascaramiento.
- Guarde las imágenes enmascaradas.
2. Preprocesamiento: recorte de ventana y recorte de los VOI
- Extraiga los VOI con preprocessing_multilabel.py (el archivo se puede descargar desde GitHub).
- Ejecute preprocessing_multilabel.py.
- Compruebe los escaneos y las máscaras, que se recortan y guardan en la carpeta VOI.
- Transforme los VOI en el conjunto de tres cortes CT secuenciales para la entrada a SEQ-UNET con builder_multilabel.py (el archivo se puede descargar desde GitHub).
- Ejecute sequence_builder_multilabel.py.
- Asegúrese de que los sectores y las máscaras se redimensionan a 64 píxeles por 64 píxeles durante la transformación.
- Durante la transformación, realice el recorte con el nivel de recorte de 48 HU y la ventana de 400 HU.
- Compruebe las tomografías computarizadas transformadas guardadas (archivo nii) y las máscaras (archivo nii) en la carpeta de exploración y la carpeta de máscara en carpetas preprocesadas, respectivamente.
3. Cuatro validaciones cruzadas del modelo de segmentación orbital
- Compile el modelo siguiendo los pasos que se indican a continuación.
- Ejecute main.py.
- Al ejecutar main.py, dé el número de pliegue de las cuatro validaciones cruzadas por "-fold num x", donde x es 0, 1, 2 o 3.
- Al ejecutar main.py, use la época, que es el número de iteraciones de entrenamiento, como una opción, como "-epoch x", donde x es el número de época. El número predeterminado es 500.
- Al ejecutar main.py, establezca el tamaño del lote, que es el número de muestras de entrenamiento en una sola sesión de entrenamiento. El número predeterminado es 32.
- En main.py, cargue las tomografías computarizadas y las máscaras, e inicialice el SEQ-UNET con los parámetros previamente entrenados utilizando el conjunto de datos LIDC-IDRI (descargable desde el archivo de imágenes de cáncer).
- En main.py, realice la prueba del modelo después del entrenamiento. Calcule las métricas de evaluación, la puntuación de los dados y la similitud de volumen, y guárdelas en la carpeta de métricas.
- Compruebe los resultados en la carpeta segmentada.
Representative Results
Para la evaluación cuantitativa, se adoptaron dos métricas de evaluación, que se utilizaron en la tarea de segmentación de imágenes de TC. Estas fueron dos métricas de similitud, incluyendo la puntuación de dados (DICE) y la similitud de volumen (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
donde TP, FP y FN denotan los valores verdadero positivo, falso positivo y falso negativo, respectivamente, cuando se dan el resultado de la segmentación y la máscara de segmentación.
El desempeño de SEQ-UNET para la segmentación de la estructura orbital se evaluó mediante cuatro validaciones cruzadas. Los resultados se muestran en la Tabla 1. La segmentación del globo ocular utilizando SEQ-UNET logró una puntuación de dados de 0,86 y un VS de 0,83. La segmentación de los músculos extraoculares y del nervio óptico alcanzó puntuaciones bajas en los dados (0,54 y 0,34, respectivamente). La puntuación de los dados de la segmentación del globo ocular fue superior al 80% porque tenía una gran parte de los VOI y poca heterogeneidad entre las tomografías computarizadas. Las puntuaciones de los dados de los músculos extraoculares y el nervio óptico fueron relativamente bajas porque aparecieron con poca frecuencia en el volumen de la TC y se encontraron en un número relativamente pequeño de cortes de la TC. Sin embargo, las puntuaciones de similitud visual de los músculos extraoculares y el nervio óptico (0,65 y 0,80, respectivamente) fueron más altas que sus puntuaciones de dados. Este resultado indica que la especificidad de la segmentación fue baja. En general, el puntaje de dados y la similitud visual de SEQ-UNET para la segmentación de todas las subestructuras orbitales fueron 0,79 y 0,82, respectivamente. En la Figura 3 se muestran ejemplos de los resultados visuales de la segmentación de la estructura orbital. En la figura 3A-C, el azul es el resultado de segmentación predicho y el rojo es la máscara de verdad básica. En la Figura 3D, rojo, verde y naranja son el globo ocular, el músculo óptico y la segmentación nerviosa, respectivamente.
Figura 1: Funciones de enmascaramiento semiautomático. Enmascarar el globo ocular, los músculos extraoculares y el nervio óptico en tomografías computarizadas orbitarias usando (A) SmartPencil, (B) SmartFill y (C) Autocorrección. La máscara del globo ocular está etiquetada por SmartPencil, que calcula los súper píxeles de las rebanadas, y la máscara se hace haciendo clic en los súper píxeles. Después de hacer clic en algunos de los súper píxeles del globo ocular, SmartFill puede calcular toda la máscara del globo ocular. En el caso de enmascarar el nervio óptico, el refinamiento del enmascaramiento se realiza mediante Autocorrección. Los globos oculares etiquetados con color azul se muestran en (A) y (B). Haga clic aquí para ver una versión más grande de esta figura.
Figura 2: Arquitectura SEQ U-Net. Cortes 2D secuenciales como entrada y salida; dos C-LSTM bidireccionales se aplican al final de los bloques de codificación y decodificación basados en la arquitectura U-Net. Haga clic aquí para ver una versión más grande de esta figura.
Figura 3: Resultados de segmentación de las estructuras orbitales. (A) Globo ocular (etiqueta 1), (B) músculo óptico (etiqueta 2), (C) nervio óptico (etiqueta 3) y (D) multietiqueta (etiquetas 1, 2 y 3). La imagen de la izquierda es el VOI de la órbita, la imagen central es la segmentación predicha y la imagen de la derecha es la verdad del suelo. En (A), (B) y (C), el azul es el resultado de segmentación predicho, y el rojo es la máscara de verdad básica. En (D), rojo, verde y naranja son el globo ocular, el músculo extraocular y la segmentación del nervio óptico, respectivamente. La segmentación prevista mostró un alto rendimiento (DICE: 0,86 vs. 0,82) en el caso del globo ocular, pero un bajo rendimiento en el caso del músculo extraocular (DICE: 0,54 vs. 0,65) y del nervio óptico (DICE: 0,34 vs. 0,8). Haga clic aquí para ver una versión más grande de esta figura.
| Multi-etiqueta | Etiqueta 1 (globo ocular) | Etiqueta 2 (Músculo extraocular) | Etiqueta 3 (Nervio óptico) | |||||
| DADO | VS | DADO | VS | DADO | VS | DADO | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabla 1: Resultados de segmentación para la puntuación de dados y similitud visual. El globo ocular, que tiene un número relativamente grande de cortes, se segmentó bien con un DICE de 0,8, pero el músculo extraocular y el nervio óptico, que tienen un pequeño número de cortes y forma de línea, se segmentaron parcialmente con valores de DICE de 0,54 y 0,34, respectivamente.
Video 1: Asistente SmartPencil en el programa de software de enmascaramiento. Una demostración de anotación de múltiples píxeles para el enmascaramiento del globo ocular. Las tareas de enmascaramiento se habilitan con un solo clic en los superpíxeles agrupados. Haga clic aquí para descargar este video.
Video 2: Asistente SmartFill en el programa de software de enmascaramiento. Una demostración de anotación de múltiples píxeles para el enmascaramiento del globo ocular. Después de seleccionar algunos píxeles en el área de anotación, esta función genera máscaras de segmentación completas con intensidades similares a los píxeles seleccionados. Haga clic aquí para descargar este video.
Video 3: Autocorrección en el programa de software de enmascaramiento. Una demostración de la corrección automática de un píxel enmascarado utilizando un algoritmo de red neuronal convolucional previamente entrenado. Haga clic aquí para descargar este video.
Tabla complementaria 1: Entorno de tiempo de ejecución (RTE) de enmascaramiento, preprocesamiento y modelado de segmentación. Haga clic aquí para descargar esta tabla.
Discussion
El análisis de imágenes médicas basado en el aprendizaje profundo se utiliza ampliamente para la detección de enfermedades. En el dominio de la oftalmología, los modelos de detección y segmentación se utilizan en retinopatía diabética, glaucoma, degeneración macular asociada a la edad y retinopatía del prematuro. Sin embargo, otras enfermedades raras, aparte de las de oftalmología, no se han estudiado debido al acceso limitado a grandes conjuntos de datos públicos abiertos para el análisis de aprendizaje profundo. Al aplicar este método en situaciones en las que no hay un conjunto de datos público disponible, el paso de enmascaramiento, que es una tarea laboriosa y que requiere mucho tiempo, es inevitable. Sin embargo, el paso de enmascaramiento propuesto (sección de protocolo, paso 1) ayuda a generar enmascaramiento con alta precisión en poco tiempo. Usando superpíxeles y relleno basado en redes neuronales, que agrupan píxeles que son similares en propiedades de imagen de bajo nivel, los médicos pueden etiquetar las máscaras haciendo clic en los grupos de píxeles en lugar de señalar los píxeles específicos. Además, las funciones de corrección automática ayudan a refinar los procesos de máscara. La eficiencia y efectividad de este método ayudará a generar más imágenes enmascaradas en la investigación médica.
Entre las muchas posibilidades en el preprocesamiento, la extracción de VOI y el recorte de ventanas son métodos efectivos. Aquí, la extracción de VOI y el recorte de ventanas se introducen en el paso 2 del protocolo. Cuando los médicos preparan el conjunto de datos, extraer el VOI del conjunto de datos dado es el paso más importante en el proceso porque la mayoría de los casos de segmentación se centran en regiones pequeñas y específicas en toda la imagen médica. En cuanto a los VOI, las regiones del globo ocular, el nervio óptico y los músculos extraoculares se recortan en función de la ubicación, pero los métodos más efectivos para extraer los VOI tienen el potencial de mejorar el rendimiento de la segmentación14.
Para la segmentación, SEQ-UNET es empleada en el estudio. Las imágenes médicas en 3D tienen grandes volúmenes, por lo que los modelos de redes neuronales profundas requieren grandes capacidades de memoria. En SEQ-UNET, el modelo de segmentación se implementa con un pequeño número de cortes para reducir el tamaño de memoria requerido sin perder las características de la información 3D.
El modelo fue entrenado con 46 VOIs, que no es un gran número para el entrenamiento del modelo. Debido al pequeño número de conjuntos de datos de entrenamiento, el rendimiento de la segmentación del nervio óptico y del músculo extraocular es limitado. El aprendizaje por transferencia15 y la adaptación al dominio8 podrían proporcionar una solución para mejorar el rendimiento de la segmentación.
Todo el proceso de segmentación introducido aquí no se limita a la segmentación orbital CT. El método de etiquetado eficiente ayuda a crear un nuevo conjunto de datos de imágenes médicas para cuando el dominio de aplicación es exclusivo del área de investigación. Los códigos python de GitHub relacionados con el preprocesamiento y el modelado de segmentación se pueden aplicar a otros dominios con la modificación de la región de recorte, el nivel de recorte de ventana y los hiperparámetros del modelo, como el número de segmentos secuenciales, las arquitecturas U-Net, etc.
Disclosures
Los autores declaran no tener conflictos de intereses.
Acknowledgments
Este trabajo fue apoyado por la Fundación Nacional de Investigación de Corea (NRF), subvención financiada por el Ministerio de Ciencia y TIC de Corea (MSIT) (número: 2020R1C1C1010079). Para el conjunto de datos CMC-ORBIT, la Junta de Revisión Institucional (IRB) central del Centro Médico Católico proporcionó la aprobación (XC19REGI0076). Este trabajo fue apoyado por el Fondo de Investigación de la Universidad de Hongik 2022.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
