Segmentação Baseada em Deep Learning de Tomogramas de Crio-Elétrons

O que é mais empolgante sobre o nosso protocolo é que ele permite que qualquer laboratório comece a trabalhar usando esses protocolos de aprendizado profundo para segmentar grandes quantidades de dados crio-ET. A principal vantagem do nosso fluxo de trabalho é que o Dragonfly fornece um ambiente computacional de nível profissional para treinar redes neurais de várias classes para segmentação, e isso pode realmente acelerar drasticamente seu processo de segmentação. A segmentação de imagens leva tempo para aprender, portanto, certifique-se de testar as ferramentas e aprender as principais ligações para realmente ajudar a simplificar seu fluxo de trabalho ao longo do tempo.

Depois de configurar o software, prossiga com a importação de imagem indo para Arquivo e selecionando Importar arquivos de imagem. Em seguida, clique em Adicionar, navegue até o arquivo de imagem, clique em Abrir e selecione Avançar, seguido de Concluir. Crie uma escala de intensidade personalizada acessando Utilitários e selecionando o Gerenciador de Unidades de Dimensão.

Clique em adição no canto inferior esquerdo para criar uma nova unidade de dimensão. Escolha um recurso de alta e baixa intensidade em todos os tomogramas de interesse. Dê à unidade um nome e uma abreviatura e salve a unidade de dimensão personalizada.

Para calibrar as imagens para a escala de intensidade personalizada, clique com o botão direito do mouse no conjunto de dados na coluna Propriedades do lado direito da tela e selecione Calibrar escala de intensidade. Em seguida, vá para a guia principal no lado esquerdo da tela e role para baixo até a seção de sonda. Usando a ferramenta de sonda circular com um diâmetro apropriado, clique em alguns lugares na região de fundo do tomograma e registre o número médio na coluna de intensidade bruta.

Repita para marcadores fiduciais e clique em Calibrar. Se necessário, ajuste o contraste para tornar as estruturas visíveis novamente com a ferramenta de área na seção de nivelamento de janela da guia principal. No lado esquerdo da guia principal, role para baixo até o painel de processamento de imagem.

Clique em Avançado e aguarde a abertura de uma nova janela. No painel Propriedades, selecione o conjunto de dados a ser filtrado e torne-o visível clicando no ícone de olho à esquerda do conjunto de dados. Em seguida, use o menu suspenso do painel de operações para selecionar a equalização do histograma para a primeira operação.

Selecione Adicionar operação, clique em Gaussian e altere a dimensão do kernel para 3D. Adicione a terceira operação, selecione Unsharp e deixe a saída para esta. Aplique a equalização a todas as fatias e deixe a filtragem ser executada e, em seguida, feche a janela de processamento de imagem para retornar à interface principal.

Para identificar a área de treinamento, vá para o painel de propriedades de dados ocultando primeiro o conjunto de dados não filtrados clicando no ícone de olho à esquerda dele. Em seguida, mostre o conjunto de dados recém-filtrado. Usando o conjunto de dados filtrado, identifique uma sub-região do tomograma que contenha todos os recursos de interesse.

Agora, crie uma caixa ao redor da região de interesse rolando para baixo até a categoria Formas e selecionando Criar uma caixa no lado esquerdo da guia principal. Enquanto estiver no painel de quatro visualizações, use os diferentes planos 2D para ajudar a guiar ou arrastar as bordas da caixa para incluir apenas a região de interesse em todas as dimensões. Na lista de dados, selecione a região da caixa e altere a cor da borda para facilitar a visualização clicando no quadrado cinza ao lado do símbolo do olho.

Para criar um multi-ROI, selecione a guia Segmentação, clique em Novo no lado esquerdo e marque Criar como multi-ROI. Certifique-se de que o número de classes corresponda ao número de recursos de interesse mais uma classe em segundo plano. Nomeie os dados de treinamento de vários ROIs e verifique se a geometria corresponde ao conjunto de dados antes de clicar em OK. Em seguida, role pelos dados até dentro dos limites da região em caixa.

Selecione o Multi-ROI no menu Propriedades à direita. Clique duas vezes no primeiro nome de classe em branco no multi-ROI para nomeá-lo. Para pintar com o pincel 2D, role para baixo até Ferramentas 2D na guia Segmentação à esquerda e selecione um pincel circular.

Em seguida, selecione Gaussian adaptável ou OTSU local no menu suspenso, pinte mantendo pressionado o controle esquerdo mais clique e apague mantendo pressionado o botão esquerdo mais clique. Depois que todas as estruturas tiverem sido rotuladas, clique com o botão direito do mouse na classe de plano de fundo no multi-ROI e selecione Adicionar todos os Voxels não rotulados à classe. Em seguida, crie um novo ROI de classe única chamado Mask.

Verifique se a geometria está definida como o conjunto de dados filtrados e clique em Aplicar. Na guia Propriedades à direita, clique com o botão direito do mouse na caixa, selecione Adicionar ao ROI e adicione-o ao ROI da máscara. Para cortar os dados de treinamento usando a máscara, vá para a guia Propriedades e selecione os dados de treinamento, o ROI múltiplo e o ROI da máscara mantendo o controle e clicando em cada um.

Em seguida, clique em Interceptar abaixo da lista de propriedades de dados na seção Operações booleanas. Nomeie o novo conjunto de dados como entrada de treinamento cortada e verifique se a geometria corresponde ao conjunto de dados filtrado antes de clicar em OK. Importe os dados de treinamento para o Assistente de Segmentação clicando com o botão direito do mouse no conjunto de dados filtrados na guia Propriedades e selecionando a opção Assistente de Segmentação. Quando uma nova janela for aberta, procure a guia Entrada no lado direito.

Clique em Importar quadros de um multi-ROI e selecione a entrada de treinamento aparado. Para gerar um novo modelo de rede neural, clique no botão de adição no lado direito da guia do modelo. Selecione U Net na lista, selecione 2,5 D e cinco fatias para dimensão de entrada e clique em Gerar.

Para treinar a rede, clique em Treinar no canto inferior direito da janela do Seg Wiz. Quando o treinamento da unidade estiver concluído, use a rede treinada para segmentar novos quadros, criar um novo quadro e clique em Prever. Em seguida, clique na seta para cima no canto superior direito do quadro previsto para transferir a segmentação para o quadro real.

Para corrigir a previsão, clique com a tecla Control pressionada em duas classes para alterar os pixels segmentados de uma para a outra. Selecione ambas as classes e pinte com o pincel para pintar apenas pixels pertencentes a qualquer uma das classes. Corrija a segmentação em pelo menos cinco novos quadros.

Para treinamento iterativo, clique no botão Trem novamente e permita que a rede treine mais para mais 30 a 40 épicos. Neste ponto, pare o treinamento e inicie outra rodada de treinamento. Quando estiver satisfeito com o desempenho da rede, publique-a saindo do Assistente de Segmentação.

Uma caixa de diálogo aparece perguntando quais modelos publicar. Selecione a rede bem-sucedida, nomeie-a e publique-a para disponibilizar a rede para uso fora do Assistente de Segmentação. Primeiro, selecione o conjunto de dados filtrados no painel Propriedades a ser aplicado ao tomograma de treinamento.

No painel Segmentação à esquerda, role para baixo até a seção segmento com IA. Verifique se o conjunto de dados correto está selecionado. Escolha o modelo publicado recentemente no menu suspenso e clique em Segmento, seguido por Todas as fatias.

Para aplicar a um conjunto de dados de inferência, importe o novo tomograma e pré-processe-o conforme demonstrado anteriormente. No painel de segmentação, vá para a seção segmento com IA. Verifique se o tomograma recém-filtrado é o conjunto de dados selecionado, escolha o modelo treinado anteriormente, clique no segmento e selecione Todas as fatias.

Limpe rapidamente o ruído escolhendo primeiro uma das classes que têm ruído segmentado e o recurso de interesse. Em seguida, clique com o botão direito do mouse em Process Islands, selecione Removido pela Contagem de Voxel e clique em Selecionar um Tamanho de Voxel. Comece com pequenas contagens e aumente gradualmente a contagem para remover a maior parte do ruído.

Para correção de segmentação, clique com a tecla Control pressionada em duas classes para pintar pixels pertencentes somente a essas classes. Clique com a tecla Control pressionada mais arraste com as ferramentas de segmentação para alterar os pixels da segunda classe para a primeira e clique com a tecla Shift pressionada mais arraste para realizar o oposto. Uma unidade de cinco fatias foi treinada em um único tomograma e a segmentação manual foi realizada para entrada no treinamento.

A segmentação 2D da unidade após o treinamento completo é mostrada. A renderização 3D das regiões segmentadas mostra filamentos de membrana, microtúbulos e actina. DIV 5 neurônios de ratos do hipocampo da mesma sessão que o tomograma de treinamento são mostrados.

Segmentação 2D da unidade sem treinamento adicional em limpeza rápida exibiu membrana, microtúbulos, actina e fiduciais. A renderização 3D das regiões segmentadas também foi visualizada. DIV 5 neurônio de rato hipocampal de uma sessão anterior também foi observado.

Também foi realizada segmentação 2D da unidade com limpeza rápida e renderização 3D. O neurônio de rato hipocampal DIV 5 também foi observado em um Titan Krios diferente em uma ampliação diferente. O tamanho do pixel foi alterado com o vault de compressão do programa IMOD para corresponder ao tomograma de treinamento.

A segmentação 2D da unidade com limpeza rápida demonstra inferência robusta em conjuntos de dados com pré-processamento adequado, e a renderização 3D da segmentação foi realizada. O pré-processamento dos dados de forma idêntica e a calibração dos histogramas são definitivamente as etapas mais importantes para a inferência adequada da rede. Uma vez que a localização das moléculas é conhecida dentro do tomograma, é realmente trivial dentro da Dragonfly calcular medições quantitativas ou calcular coordenadas e alimentá-las em um pipeline de média de sub-tomograma.

Estamos apenas começando a ver os efeitos do aprendizado profundo na análise de imagens crio-ETs, mas esta é apenas mais uma área em que isso mostra uma promessa realmente imensa.