Summary
Um protocolo de segmentação de objetos para imagens de tomografia computadorizada (TC) orbital é introduzido. Os métodos de rotular a verdade do solo de estruturas orbitais usando super-resolução, extraindo o volume de interesse de imagens de TC e modelando segmentação multi-label usando U-Net sequencial 2D para imagens de TC orbitais são explicados para aprendizado supervisionado.
Abstract
Recentemente, modelos de segmentação baseados em aprendizagem profunda têm sido amplamente aplicados no campo oftálmico. Este estudo apresenta o processo completo de construção de um modelo de segmentação orbitária de tomografia computadorizada (TC) baseado em U-Net. Para o aprendizado supervisionado, é necessário um processo trabalhoso e demorado. O método de marcação com super-resolução para mascarar eficientemente a verdade do solo em imagens de TC orbitais é introduzido. Além disso, o volume de interesse é cortado como parte do pré-processamento do conjunto de dados. Em seguida, após a extração dos volumes de interesse das estruturas orbitais, o modelo para segmentação das estruturas-chave da TC orbital é construído usando U-Net, com fatias 2D sequenciais que são usadas como entradas e duas memórias convolucionais bidirecionais de curto prazo para conservar as correlações inter-fatias. Este estudo se concentra principalmente na segmentação do globo ocular, nervo óptico e músculos extraoculares. A avaliação da segmentação revela a potencial aplicação da segmentação a imagens de TC orbital utilizando métodos de aprendizagem profunda.
Introduction
A órbita é um espaço pequeno e complicado de aproximadamente 30,1cm3 que contém estruturas importantes como o globo ocular, nervos, músculos extraoculares, tecidos de suporte e vasos para a visão e movimentos do globo ocular1. Os tumores orbitais são crescimentos anormais de tecido na órbita, e alguns deles ameaçam a visão ou o movimento do globo ocular dos pacientes, o que pode levar a uma disfunção fatal. Para conservar a função visual dos pacientes, os médicos devem decidir sobre as modalidades de tratamento com base nas características do tumor, e uma biópsia cirúrgica é geralmente inevitável. Esta área compacta e lotada muitas vezes torna desafiador para os médicos realizar uma biópsia sem danificar a estrutura normal. A análise de imagens patológicas baseada em deep learning para determinar a condição da órbita poderia ajudar a evitar lesões desnecessárias ou evitáveis nos tecidos orbitários durante a biópsia2. Um método de análise de imagens para tumores orbitários é a detecção e segmentação tumoral. No entanto, a coleta de grandes quantidades de dados para imagens de TC contendo tumores orbitários é limitada devido à sua baixa incidência3. O outro método eficiente para o diagnóstico computacional do tumor4 envolve a comparação do tumor com as estruturas normais da órbita. O número de imagens de TC orbitárias em estruturas normais é relativamente maior do que em tumores. Portanto, a segmentação de estruturas orbitais normais é o primeiro passo para atingir esse objetivo.
Este estudo apresenta todo o processo de segmentação da estrutura orbital baseada em deep learning, incluindo a coleta de dados, o pré-processamento e a modelagem subsequente. O estudo destina-se a ser um recurso para clínicos interessados em usar o método atual para gerar eficientemente um conjunto de dados mascarado e para oftalmologistas que exigem informações sobre pré-processamento e modelagem para imagens de TC orbital. Este artigo apresenta um novo método para segmentação de estrutura orbital e U-Net sequencial, um modelo de segmentação 2D sequencial baseado em uma solução representativa de aprendizagem profunda em U-Net para segmentação de imagens médicas. O protocolo descreve o procedimento detalhado de segmentação de órbita, incluindo (1) como usar uma ferramenta de mascaramento para a verdade do solo da segmentação da estrutura de órbita, (2) as etapas necessárias para o pré-processamento das imagens orbitais e (3) como treinar o modelo de segmentação e avaliar o desempenho da segmentação.
Para o aprendizado supervisionado, quatro oftalmologistas experientes que haviam sido certificados por mais de 5 anos anotaram manualmente as máscaras do globo ocular, nervo óptico e músculos extraoculares. Todos os oftalmologistas usaram o programa de software de mascaramento (MediLabel, veja a Tabela de Materiais), que usa super-resolução para o mascaramento eficiente em tomografias computadorizadas. O software de mascaramento possui os seguintes recursos semiautomáticos: (1) SmartPencil, que gera clusters de mapas de super pixels com valores semelhantes de intensidade de imagem5; (2) SmartFill, que gera máscaras de segmentação calculando a função energética do primeiro plano e do plano de fundo em curso 6,7; e (3) AutoCorreção, que torna as bordas das máscaras de segmentação limpas e consistentes com a imagem original. Imagens de exemplo dos recursos semiautomáticos são mostradas na Figura 1. As etapas detalhadas do mascaramento manual são fornecidas na seção de protocolo (etapa 1).
O próximo passo é o pré-processamento das tomografias orbitais. Para obter os volumes orbitais de interesse (VOIs), as áreas da órbita onde o globo ocular, o músculo e o nervo estão localizados em condições normais são identificadas e essas áreas são cortadas. O conjunto de dados tem uma alta resolução, com resolução voxel no plano de <1 mm e espessura de fatia, de modo que o processo de interpolação é ignorado. Em vez disso, o recorte de janela é conduzido no nível de recorte de 48 HU e na janela de 400 HU. Após o recorte e o recorte da janela, três fatias seriais das VOIs de órbita são geradas para a entrada do modelo de segmentação8. A seção de protocolo (etapa 2) fornece detalhes sobre as etapas de pré-processamento.
U-Net9 é um modelo de segmentação amplamente utilizado para imagens médicas. A arquitetura U-Net compreende um codificador, que extrai as características das imagens médicas, e um decodificador, que apresenta semanticamente as características discriminativas. Ao empregar o U-Net para tomografias, as camadas convolucionais consistem em filtros 3D10,11. Isso é um desafio porque o cálculo de filtros 3D requer uma grande capacidade de memória. Para reduzir os requisitos de memória para a U-Net 3D, SEQ-UNET8, em que um conjunto de fatias 2D sequenciais são usadas na U-Net, foi proposto. Para evitar a perda de correlações espaço-temporais entre as fatias de imagem 2D da TC 3D, duas memórias convolucionais bidirecionais de curto prazo (C-LSTMs)12 são empregadas na U-Net básica. O primeiro C-LSTM bidirecional extrai as correlações inter-fatia no final do codificador. O segundo C-LSTM bidirecional, após a saída do decodificador, transforma as informações de segmentação semântica nas dimensões da sequência de fatias em uma única segmentação de imagem. A arquitetura do SEQ-UNET é mostrada na Figura 2. Os códigos de implementação estão disponíveis em github.com/SleepyChild1005/OrbitSeg, e o uso dos códigos é detalhado na seção de protocolo (etapa 3).
Protocol
O presente trabalho foi realizado com a aprovação do Comitê de Ética em Pesquisa (IRB) do Centro Médico Católico, e a privacidade, confidencialidade e segurança das informações de saúde foram protegidas. Os dados de TC orbital foram coletados (de seres humanos não identificados) de hospitais afiliados à Faculdade de Medicina da Universidade Católica da Coreia (CMC; Seoul St. Mary's Hospital, Yeouido St. Mary's Hospital, Daejeon St. Mary's Hospital e St. Vincent Hospital). As tomografias orbitais foram obtidas de janeiro de 2016 a dezembro de 2020. O conjunto de dados continha 46 tomografias orbitais de homens e mulheres coreanos com idades entre 20 e 60 anos. O ambiente de tempo de execução (RTE) é resumido na Tabela Suplementar 1.
1. Mascarando o globo ocular, o nervo óptico e os músculos extraoculares nas tomografias computadorizadas orbitais
- Execute o programa de software de mascaramento.
NOTA: O programa de software de mascaramento (MediLabel, consulte a Tabela de Materiais) é um programa de software de rotulagem de imagens médicas para segmentação, que requer poucos cliques e tem alta velocidade. - Carregue a TC orbital clicando no ícone de arquivo aberto e selecionando o arquivo CT de destino. Em seguida, as tomografias computadorizadas são mostradas na tela.
- Mascare o globo ocular, o nervo óptico e os músculos extraoculares usando super pixels.
- Execute o SmartPencil clicando no assistente SmartPencil no MediLabel (Vídeo 1).
- Controle a resolução do mapa de super pixels, se necessário (por exemplo, 100, 500, 1.000 e 2.000 super pixels).
- Clique no conjunto de super pixels do globo ocular, nervo óptico e músculos extraoculares no mapa de super pixels, onde pixels de valores de intensidade de imagem semelhantes estão agrupados.
- Refine as máscaras com as funções de correção automática no MediLabel.
- Clique no assistente SmartFill depois de mascarar alguns dos super pixels nas fatias (Vídeo 2).
- Clique no ícone AutoCorreção e verifique se os rótulos de máscara corrigidos são computados (Vídeo 3).
- Repita as etapas 1.3 e 1.4 até que o refinamento do mascaramento esteja concluído.
- Salve as imagens mascaradas.
2. Pré-processamento: Recorte de janelas e corte das VOIs
- Extraia as VOIs com preprocessing_multilabel.py (o arquivo pode ser baixado do GitHub).
- Execute preprocessing_multilabel.py.
- Verifique as varreduras e máscaras, que são cortadas e salvas na pasta VOIs.
- Transforme as VOIs no conjunto de três fatias de TC seqenciais para a entrada em SEQ-UNET com builder_multilabel.py (o arquivo pode ser baixado do GitHub).
- Execute sequence_builder_multilabel.py.
- Certifique-se de que as fatias e máscaras sejam redimensionadas para 64 pixels por 64 pixels durante a transformação.
- Durante a transformação, execute o recorte com o nível de recorte de 48 HU e a janela de 400 HU.
- Verifique as tomografias computadorizadas transformadas salvas (arquivo nii) e as máscaras (arquivo nii) na pasta de varredura e na pasta de máscara em pastas pré-processadas, respectivamente.
3. Quatro validações cruzadas do modelo de segmentação orbital
- Crie o modelo seguindo as etapas abaixo.
- Execute main.py.
- Ao executar main.py, dê o número de dobra das quatro validações cruzadas por "-fold num x", onde x é 0, 1, 2 ou 3.
- Ao executar main.py, use a época, que é o número de iterações de treinamento, como uma opção, como "-epoch x", onde x é o número da época. O número padrão é 500.
- Ao executar main.py, defina o tamanho do lote, que é o número de amostras de treinamento em uma única sessão de treinamento. O número padrão é 32.
- Em main.py, carregue as tomografias computadorizadas e máscaras e inicialize o SEQ-UNET com os parâmetros pré-treinados usando o conjunto de dados LIDC-IDRI (disponível para download no arquivo de imagens de câncer).
- Em main.py, realize o teste do modelo após o treinamento. Calcule as métricas de avaliação, a pontuação dos dados e a semelhança de volume e salve-as na pasta de métricas.
- Verifique os resultados na pasta segmentada.
Representative Results
Para a avaliação quantitativa, foram adotadas duas métricas de avaliação, que foram utilizadas na tarefa de segmentação de imagens da TC. Foram duas métricas de similaridade, incluindo o dice score (DICE) e o volume similarity (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
onde TP, FP e FN denotam os valores verdadeiros positivos, falsos positivos e falsos negativos, respectivamente, quando o resultado da segmentação e a máscara de segmentação são fornecidos.
O desempenho do SEQ-UNET para segmentação da estrutura orbital foi avaliado por meio de quatro validações cruzadas. Os resultados são apresentados na Tabela 1. A segmentação do globo ocular utilizando o SEQ-UNET obteve um escore de dados de 0,86 e um VS de 0,83. A segmentação dos músculos extraoculares e do nervo óptico alcançou baixos escores de dados (0,54 e 0,34, respectivamente). O escore de dados da segmentação do globo ocular foi superior a 80%, pois apresentava grande parcela das VOIs e pouca heterogeneidade entre as tomografias. Os escores de dados dos músculos extraoculares e do nervo óptico foram relativamente baixos porque raramente apareceram no volume da TC e foram encontrados em um número relativamente pequeno de cortes de TC. No entanto, os escores de similaridade visual dos músculos extraoculares e do nervo óptico (0,65 e 0,80, respectivamente) foram maiores do que seus escores de dados. Esse resultado indica que a especificidade da segmentação foi baixa. No geral, o escore de dados e a similaridade visual do SEQ-UNET para a segmentação de todas as subestruturas orbitais foram de 0,79 e 0,82, respectivamente. Exemplos dos resultados visuais da segmentação da estrutura orbital são mostrados na Figura 3. Na Figura 3A-C, azul é o resultado de segmentação previsto e vermelho é a máscara da verdade do solo. Na Figura 3D, vermelho, verde e laranja são o globo ocular, o músculo óptico e a segmentação nervosa, respectivamente.
Figura 1: Recursos de mascaramento semiautomático. Mascarando o globo ocular, os músculos extraoculares e o nervo óptico em tomografias computadorizadas orbitais usando (A) SmartPencil, (B) SmartFill e (C) AutoCorrection. A máscara do globo ocular é rotulada pelo SmartPencil, que calcula os super pixels das fatias, e a máscara é feita clicando nos super pixels. Depois de clicar em alguns dos super pixels do globo ocular, toda a máscara do globo ocular pode ser calculada pelo SmartFill. No caso de mascarar o nervo óptico, o refinamento do mascaramento é feito por AutoCorreção. Os globos oculares rotulados com a cor azul são mostrados em (A) e (B). Por favor, clique aqui para ver uma versão maior desta figura.
Figura 2: Arquitetura SEQ U-Net. Fatias 2D sequenciais como entrada e saída; dois C-LSTMs bidirecionais são aplicados ao final dos blocos de codificação e decodificação com base na arquitetura U-Net. Por favor, clique aqui para ver uma versão maior desta figura.
Figura 3: Resultados da segmentação das estruturas orbitais. (A) Globo ocular (rótulo 1), (B) músculo óptico (rótulo 2), (C) nervo óptico (rótulo 3) e (D) multi-rótulo (rótulos 1, 2 e 3). A imagem da esquerda é o VOI da órbita, a imagem central é a segmentação prevista e a imagem da direita é a verdade do solo. Em (A), (B) e (C), azul é o resultado de segmentação previsto, e vermelho é a máscara da verdade do solo. Em (D), vermelho, verde e laranja são o globo ocular, o músculo extraocular e a segmentação do nervo óptico, respectivamente. A segmentação predita mostrou alto desempenho (DICE: 0,86 vs. 0,82) no caso do globo ocular, mas baixo desempenho no caso do músculo extraocular (DICE: 0,54 vs. 0,65) e nervo óptico (DICE: 0,34 vs. 0,8). Por favor, clique aqui para ver uma versão maior desta figura.
| Multi-Rótulo | Rótulo 1 (Globo ocular) | Rótulo 2 (Músculo extraocular) | Rótulo 3 (Nervo óptico) | |||||
| DADOS | VS | DADOS | VS | DADOS | VS | DADOS | VS | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Tabela 1: Resultados de segmentação para o escore de dados e similaridade visual. O globo ocular, que possui um número relativamente grande de fatias, foi bem segmentado com um DICE de 0,8, mas o músculo extraocular e o nervo óptico, que têm pequeno número de cortes e forma de linha, foram parcialmente segmentados com valores de DICE de 0,54 e 0,34, respectivamente.
Vídeo 1: Assistente SmartPencil no programa de software de mascaramento. Uma demonstração de anotação de vários pixels para mascaramento do globo ocular. As tarefas de mascaramento são ativadas com um clique em super pixels agrupados. Clique aqui para baixar este vídeo.
Vídeo 2: Assistente SmartFill no programa de software de mascaramento. Uma demonstração de anotação de vários pixels para mascaramento do globo ocular. Depois de selecionar alguns pixels na área de anotação, essa função gera máscaras de segmentação completas com intensidades semelhantes aos pixels selecionados. Clique aqui para baixar este vídeo.
Vídeo 3: AutoCorreção no programa de software de mascaramento. Uma demonstração da correção automática de um pixel mascarado usando um algoritmo de rede neural convolucional pré-treinado. Clique aqui para baixar este vídeo.
Tabela suplementar 1: Runtime environment (RTE) de mascaramento, pré-processamento e modelagem de segmentação. Por favor, clique aqui para baixar esta Tabela.
Discussion
A análise de imagens médicas baseada em aprendizado profundo é amplamente utilizada para a detecção de doenças. No domínio da oftalmologia, modelos de detecção e segmentação são usados em retinopatia diabética, glaucoma, degeneração macular relacionada à idade e retinopatia da prematuridade. No entanto, outras doenças raras, além daquelas em oftalmologia, não foram estudadas devido ao acesso limitado a grandes conjuntos de dados públicos abertos para análise de aprendizagem profunda. Ao aplicar esse método em situações em que nenhum conjunto de dados público está disponível, a etapa de mascaramento, que é uma tarefa trabalhosa e demorada, é inevitável. No entanto, a etapa de mascaramento proposta (seção de protocolo, etapa 1) ajuda a gerar mascaramento com alta precisão em um curto espaço de tempo. Usando super pixels e preenchimento baseado em rede neural, que agrupam pixels que são semelhantes em propriedades de imagem de baixo nível, os médicos podem rotular as máscaras clicando nos grupos de pixels em vez de apontar os pixels específicos. Além disso, as funções de correção automática ajudam a refinar os processos de máscara. A eficiência e a eficácia desse método ajudarão a gerar mais imagens mascaradas na pesquisa médica.
Entre as muitas possibilidades no pré-processamento, a extração de VOIs e o corte de janelas são métodos eficazes. Aqui, a extração de VOIs e o recorte de janelas são introduzidos na etapa 2 do protocolo. Quando os médicos preparam o conjunto de dados, extrair o VOI do conjunto de dados fornecido é a etapa mais importante no processo, porque a maioria dos casos de segmentação se concentra em regiões pequenas e específicas em toda a imagem médica. Em relação aos VOIs, as regiões do globo ocular, nervo óptico e músculos extraoculares são cortadas com base na localização, mas métodos mais eficazes para extrair VOIs têm o potencial de melhorar o desempenho da segmentação14.
Para a segmentação, a SEQ-UNET é empregada no estudo. As imagens médicas 3D têm grandes volumes, de modo que os modelos de redes neurais profundas exigem grandes capacidades de memória. No SEQ-UNET, o modelo de segmentação é implementado com um pequeno número de fatias para reduzir o tamanho da memória necessária sem perder os recursos das informações 3D.
O modelo foi treinado com 46 VOIs, o que não é um grande número para o treinamento do modelo. Devido ao pequeno número de conjuntos de dados de treinamento, o desempenho da segmentação do nervo óptico e do músculo extraocular é limitado. O aprendizado de transferência15 e a adaptaçãode domínio 8 podem fornecer uma solução para melhorar o desempenho da segmentação.
Todo o processo de segmentação introduzido aqui não se limita à segmentação orbital da TC. O método de rotulagem eficiente ajuda a criar um novo conjunto de dados de imagem médica para quando o domínio de aplicação é exclusivo para a área de pesquisa. Os códigos python do GitHub relativos à modelagem de pré-processamento e segmentação podem ser aplicados a outros domínios com a modificação da região de corte, o nível de recorte da janela e os hiperparâmetros do modelo, como o número de fatias sequenciais, as arquiteturas U-Net e assim por diante.
Disclosures
Os autores declaram não haver conflitos de interesse.
Acknowledgments
Este trabalho foi apoiado pela Fundação Nacional de Pesquisa da Coreia (NRF), bolsa financiada pelo Ministério da Ciência e TIC da Coreia (MSIT) (número: 2020R1C1C1010079). Para o conjunto de dados CMC-ORBIT, o Conselho Central de Revisão Institucional (IRB) do Centro Médico Católico forneceu aprovação (XC19REGI0076). Este trabalho foi apoiado pelo Fundo de Pesquisa da Universidade de Hongik de 2022.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
