Summary
O pipeline descrito é projetado para a segmentação de conjuntos de dados de microscopia eletrônica maiores que gigabytes, para extrair morfologias de células inteiras. Uma vez que as células são reconstruídas em 3D, software personalizado projetado em torno de necessidades individuais pode ser usado para executar uma análise qualitativa e quantitativa diretamente em 3D, também usando a realidade virtual para superar a oclusão de visão.
Abstract
O corte Serial e a imagem latente de alta resolução subseqüente do tecido biológico usando a microscopia de elétron (EM) permitem a segmentação e a reconstrução de pilhas imaged high-resolution para revelar os testes padrões ultrastructural que não poderiam ser resolvidos usando 2D Imagens. Na verdade, este último pode levar a uma interpretação errónea das morfologias, como no caso das mitocôndrias; o uso de modelos 3D é, portanto, mais e mais comum e aplicado à formulação de hipóteses funcionais baseadas na morfologia. Até o momento, o uso de modelos 3D gerados a partir de pilhas de imagens leves ou elétron faz avaliações qualitativas, visuais, bem como a quantificação, mais conveniente para ser realizada diretamente em 3D. Como esses modelos são muitas vezes extremamente complexos, um ambiente de realidade virtual também é importante para ser configurado para superar a oclusão e tirar o máximo proveito da estrutura 3D. Aqui, um guia passo a passo da segmentação de imagem para reconstrução e análise é descrito detalhadamente.
Introduction
O primeiro modelo proposto para uma instalação de microscopia eletrônica que permite a seção serial automatizada e a imagem remonta a 19811; a difusão de tais configurações automatizadas, melhoradas para imagens grandes amostras usando em aumentou nos últimos dez anos2,3, eobras mostrando impressionantes reconstruções densas ou morfologias completa imediatamente seguido4, 5,6,7,8,9,10.
A produção de grandes conjuntos de dados veio com a necessidade de tubulações melhoradas para segmentação de imagem. Ferramentas de software para a segmentação manual de seções seriais, comoreconstruct e TrakEM2,11, foramprojetadas para microscopia eletrônica de transmissão (tem). Como todo o processo pode ser extremamente demorado, essas ferramentas não são apropriadas ao lidar com os milhares de micrografias seriais que podem ser geradas automaticamente com técnicas de seção serial EM estado-da-arte, automatizadas (3DEM), como microscopia eletrônica de varredura do bloco-cara (SBEM)3 ou microscopia de elétron do feixe-varredura focalizada do íon (FIB-sem)2. Por esta razão, os cientistas colocam esforços no desenvolvimento de ferramentas semiautomatizadas, bem como ferramentas totalmente automatizadas, para melhorar a eficiência da segmentação. As ferramentas totalmente automatizadas, baseadas no aprendizado de máquina13 ou no estado da arte, algoritmos de classificação de pixel não treinados14, estão sendo aprimoradas para serem usadas por uma comunidade maior; no entanto, a segmentação ainda está longe de ser totalmente confiável, e muitas obras ainda são baseadas no trabalho manual, o que é ineficiente em termos de tempo de segmentação, mas ainda fornece confiabilidade completa. Ferramentas semiautomatizadas, como a ilastik15, representam um melhor comprometimento, pois fornecem uma leitura imediata para a segmentação que pode ser corrigida até certo ponto, embora não forneça um quadro de revisão real, e possa ser integrada usando TrakEM2 em paralelo16.
A segmentação em larga escala é, até à data, limitada principalmente aos connectomics; Portanto, os cientistas da computação estão mais interessados em fornecer frameworks para visualizações integradas de grandes conjuntos de dados anotados e analisar padrões de conectividade inferidos pela presença de contatos sinápticos17,18. No entanto, reconstruções 3D precisas podem ser usadas para análises morfométricas quantitativas, em vez de avaliações qualitativas das estruturas 3D. Ferramentas como neuromorph19,20 e análise de glicogênio10 foram desenvolvidas para fazer medições nas reconstruções 3D para comprimentos, áreas de superfície e volumes, e na distribuição de pontos de nuvem, completamente descartando a pilha em original8,10. Astrocytes representam um estudo de caso interessante, porque a falta de pistas visuais ou padrões estruturais repetitivos dar aos investigadores uma sugestão sobre a função de unidades estruturais individuais e consequente falta de uma ontologia adequada de processos astrocíticos 21, torná-lo desafiador para projetar ferramentas analíticas. Uma tentativa recente foi o Abstractocyte22, que permite uma exploração visual dos processos astrocíticos e a inferência de relações qualitativas entre os processos astrocíticos e os neuritos.
No entanto, a conveniência do tecido seccionado imagem em vem do fato de que a quantidade de informações escondidas em amostras de cérebro intacta é enorme e interpretar imagens de seção única pode superar esse problema. A densidade de estruturas no cérebro é tão alta que as reconstruções 3D de até mesmo alguns objetos visíveis de uma só vez tornaria impossível distingui-los visualmente. Por essa razão, recentemente, propusemos o uso da realidade virtual (VR) como um método melhorado para observar estruturas complexas. Nós nos concentramos em astrócitos23 para superar a oclusão (que é o bloqueio da visibilidade de um objeto de interesse com um segundo, em um espaço 3D) e facilidade avaliações qualitativas das reconstruções, incluindo a revisão, bem como quantificações de recursos usando a contagem de pontos no espaço. Recentemente, combinamos a exploração visual de VR com o uso de GLAM (modelo de absorção de lactato derivado de glicogênio), uma técnica para visualizar um mapa de probabilidade de transporte de glicogênio por lactato, considerando grânulos de glicogénio como corpos emissores de luz23; em particular, utilizamos VR para quantificar os picos de luz produzidos pelo GLAM.
Protocol
1. processamento de imagem usando Fiji
- Abra a pilha de imagens arrastando e soltando o arquivo nativo do microscópio que contém a pilha, ou arrastando e soltando a pasta que contém toda a pilha de imagens na janela do software.
Nota: Fiji é capaz de reconhecer automaticamente todos os formatos de imagem padrão, como. jpg,. tif e. png, bem como formatos de arquivo proprietários de fornecedores de microscópio. Enquanto o protocolo a seguir foi otimizado para pilhas de imagem de 3DEM, essas etapas podem ser usadas para conjuntos de dados de microscopia de luz também. - Depois que a pilha for aberta, vá para imagem ≫ Propriedades para certificar-se de que o tamanho do VOXEL foi lido dos metadados. Se não, ele pode ser inserido manualmente.
- Certifique-se de transformar a imagem em 8 bits. Clique na imagem ≫ tipo e selecione 8 bits.
- Se a pilha original estava em diferentes arquivos seqüenciais/pastas, use Concatenate para mesclá-los em uma única pilha, selecionando Image ≫ Stacks ≫ ferramentas > concatenar.
- Salve a pilha selecionando arquivo ≫ salvar como. Ele será salvo como um único arquivo. tif e pode ser usado como um backup e para processamento adicional.
- Se a pilha original é adquirida como telhas diferentes, aplique a costura dentro de TrakEM2.
- Crie um novo projeto TrakEM2 usando novo ≫ TrakEM2 (em branco).
- Dentro da interface gráfica do usuário (GUI) da viewport, importe as pilhas clicando no botão direito do mouse > importar ≫ pilha de importaçãoe importe todos os blocos abertos na GUI principal de Fiji. Certifique-se de redimensionar o tamanho da tela para caber a pilha inteira clicando com o botão direito do mouse > Exibir > redimensionar tela/conjunto de camadase escolha o tamanho do pixel y/x dependendo do tamanho final da montagem.
Nota: Por exemplo, se a montagem deve ser finalizada usando quatro telhas de 4.096 x 4.096 pixels, o tamanho da tela deve ser pelo menos 8.192 x 8.192 pixels. Considere torná-lo um pouco maior, e cortá-lo mais tarde. - Sobreponha as porções comuns de blocos individuais arrastando e soltando-os no conjunto de camadas. Use o controle deslizante superior esquerdo para modificar a transparência para ajudar na sobreposição.
- Montagem e realinhar as pilhas clicando no botão direito do mouse ≫ alinhare, em seguida, selecione uma das opções (consulte a nota abaixo).
Nota: SBEM ou FIB-SEM são geralmente já bem alinhados, mas pequenos desalinhamentos podem ocorrer. Alinhar camadas é o pipeline automatizado para o alinhamento z ; Montagens múltiplas camadas é o pipeline automatizado para alinhar telhas em cada pilha z , para todo o volume; Alinhar mosaico multicamada combina as duas opções anteriores. Esta operação é demorada e sujeita à memória de acesso aleatório (RAM) da máquina. Considere o uso de um computador high-end e deixe-o executar por horas/dias, dependendo do tamanho da pilha. - Finalmente, exporte as pilhas de imagem e salvá-los usando o mouse com o botão direito ≫ fazer imagem planae, em seguida, certifique-se de selecionar o primeiro para a última imagem no menu suspenso Iniciar e terminar.
- Usando TrakEM2 incorporado funções, segmento de estruturas de interesse, se necessário.
- Na GUI TrakEM2's, clique com o botão direito do mouse em qualquer coisa a janela modelo e selecione Adicionar novo filho ≫ Area_list.
- Arraste e solte qualquer coisa na parte superior da pasta em objetos do projeto, e um qualquer coisa aparecerá lá.
- Arraste e solte a lista de área do modelo para qualquer coisa localizada em objetos do projeto.
- Na viewport da pilha de imagens, selecione o espaço Z com o cursor. A lista de área aparecerá, com um número de identificação exclusivo. Selecione a ferramenta pincel na parte superior (direita inferior) e use o mouse para segmentar uma estrutura preenchendo seu citosol, sobre toda a pilha z .
- Exporte a máscara segmentada para ser usada em ilastik como semente para esculpir clicando com o botão direito do mouse no objeto da lista de área na lista de espaços Z ou na máscara na viewport e selecione Exportar ≫ listas de área como rótulos (TIF).
- Dependendo da resolução necessária para reconstruções adicionais, se possível, reduza o tamanho do pixel da pilha de imagens por downsampling, considerando os requisitos de memória do software que será usado para segmentação e reconstrução. Use Image ≫ ajustar ≫ tamanho.
Nota: ilastik lida com pilhas de até 500 pixels em XY bem. Além disso, redução da resolução reduzirá a resolução da pilha; Portanto, leve em conta o tamanho mínimo no qual o objeto ainda aparece reconhecível e, portanto, pode ser segmentado. - Para realçar o contraste e ajudar a segmentação, o filtro unsharp da máscara pode ser aplicado para fazer as membranas mais nítidas. Use Process ≫ Filter > máscara unsharp.
- Exporte a pilha de imagem como imagens únicas para processamento adicional no software de segmentação (por exemplo, ilastik), usando o arquivo ≫ salvar como... > Sequência de imagens e escolha o formato. tif.
2. segmentação (semiautomatizada) e reconstrução usando ilastik 1.3.2
- Na GUI principal do ilastik, selecione o módulo de cinzeladura .
- Carregue a pilha de imagens usando Adicionar novo ≫ adicionar um único volume 3D/4D a partir da sequência.
- Selecione o diretório inteiro e escolha a pasta que contém a pilha de imagens salva como arquivos únicos. Na parte inferior da nova janela, onde as opções para carregar as imagens estão presentes, certifique-se de manter Z Selected.
- Para as etapas a seguir, todas as operações e botões podem ser encontrados no lado esquerdo do software principal GUI. Na guia pré-processamento , use as opções padrão já verificadas. Use linhas brilhantes (filtros de crista) e mantenha a escala de filtro em 1,600. Este parâmetro pode ser modificado posteriormente.
- Depois que o pré-processamento for concluído, selecione a próxima página no menu suspenso do módulo de rotulagem . Um objeto e um plano de fundo estão presentes por padrão.
-
Selecione a semente do objeto, clicando sobre ele, e desenhe uma linha em cima da estrutura de interesse; em seguida, selecione a semente de fundo e desenhe uma ou várias linhas fora do objeto a ser reconstruído. Em seguida, clique em segmentar e aguarde.
Nota: dependendo da potência do computador e do tamanho da pilha, a segmentação pode demorar de alguns segundos a horas. Uma vez feito isso, uma máscara semitransparente destacando a segmentação deve aparecer no topo da estrutura segmentada.- Percorra a pilha para verificar a segmentação. A segmentação pode não ser precisa e não seguir a estrutura de juros com precisão ou derramar a partir dele. Corrija qualquer spillover colocando uma semente de fundo na segmentação derramado e adicione uma semente de objeto sobre o segmento não reconstruído do objeto de interesse.
- Se a segmentação ainda não estiver correta, tente modificar com o parâmetro Bias , o que aumentará ou diminuirá a quantidade de pixels classificados incertos como aceitos. Seu valor é 0,95 por padrão; diminuí-lo para limitar qualquer spillover (geralmente a não menos de 0,9) ou aumentar se a segmentação é muito conservadora (até 1).
- Outra possibilidade é voltar ao passo 2,4 (clicando no pré-processamento) e modificar o tamanho do filtro; aumentar o valor (por exemplo, a 2) minimizará os efeitos ruído-like do sal-e-pimenta mas igualmente fará as membranas mais borradas e uns detalhes menores mais duros de detectar. Isso pode limitar spillover.
- Reiterar tanto quanto necessário, contanto que todos os objetos desejados tenham sido segmentados. Uma vez que um objeto é terminado, estale sobre excepto o objeto atual, abaixo do segmento. Duas novas sementes aparecerá, para iniciar a segmentação de um novo objeto.
- Extraia malhas de superfície imediatamente como arquivos. obj clicando em exportar todas as malhas.
- Se for necessária mais revisão, a segmentação pode ser extraída como máscaras binárias. Selecione a máscara para exportá-la clicando em procurar objetos; em seguida, clique com o botão direito do mouse na segmentação ≫ exportar e, em seguida, em informações do arquivo de saída, selecione seqüência TIF como formato.
3. proofreading/segmentação (manual) em TrakEM2 (Fiji)
- Carregar a pilha de imagem e criar um novo projeto TrekEM2 como por etapa 1.6.1.
- Importe as máscaras que precisam de revisão usando os rótulos de importação de opção como arealistas, disponíveis no mesmo menu de importação usado para importar a pilha de imagens.
- Selecione o arealista importado no espaço Z e use a ferramenta pincel para revisar a segmentação.
- Visualize o modelo em 3D clicando com o botão direito na lista de áreas ≫ mostrar em 3D. Na janela a seguir solicitando um número de resample, um valor mais alto gerará uma malha de resolução inferior.
Nota: Dependendo do tamanho do objeto, considere o uso de um valor entre 4 e 6, que geralmente dá o melhor compromisso entre a resolução e detalhes morfológicos. - Exporte a malha 3D como Wavefront. obj escolhendo no menu arquivo ≫ exportar superfícies ≫ Wavefront.
4. análise 3D
- Abra o Blender. Para as etapas a seguir, certifique-se de instalar o kit de ferramentas NeuroMorph (disponível em disponível em https://neuromorph.epfl.ch/index.html) e o kit de ferramentas de análise de glicogênio (disponível em https://github.com/daniJb/glyco-analysis).
- Importe os objetos usando a importação de lote do NeuroMorph clicando em importar objetos no menu cena , para importar vários objetos ao mesmo tempo. Certifique-se de ativar usar malha e sombreamento suave.
Nota: Não é recomendável clicar em finalizar malha se houver incerteza sobre o tamanho inicial do objeto. A profundidade da árvore de importação no valor 7 (padrão) geralmente é boa para manter uma resolução aceitável e a morfologia do objeto. - Selecione o objeto de interesse do Outliner e modifique a profundidade de Octree da função malha no menu modificadores iterativamente para minimizar o número de vértices e para evitar a perda de detalhes na resolução e na morfologia correta. Ao mudar a profundidade do Octree, a malha no GUI principal mudará conformemente. Uma vez terminado, clique em aplicar para finalizar o processo.
Nota: Os valores em torno de 4 são geralmente bons para objetos pequenos (tais como densidades pós-sináptica), valores ao redor 7 para os maiores (tais como axônios longos ou dendrites), e valores ao redor 8 ou 9 para morfologias celulares completas onde os detalhes de resoluções diferentes devem ser Mantido. - Use as interações de pilha de imagens da ferramenta de sobreposição de imagem no painel esquerdo, o menu neuromorph , para carregar a pilha de imagens. Certifique-se de inserir o tamanho físico da pilha de imagens para x, ye x (em mícrons ou nanômetros, dependendo das unidades da malha) e selecione o caminho da pilha clicando em Source_Z. X e Y são planos ortogonais; Eles são opcionais e serão carregados somente se o usuário insere um caminho válido.
- Em seguida, selecione uma malha na viewport clicando com o botão direito do mouse nele, digite o modo de edição pressionando Tab, selecione um (ou mais) vértices usando o botão direito do rato e, finalmente, clique em Mostrar imagem no vértice. Um (ou mais) plano (s) de corte com a micrografia aparecerá sobreposto na parte superior da malha.
- Selecione o plano de corte clicando com o botão direito do mouse nele, pressione Ctrl + Ye role sobre o modelo 3D usando o scroll do rato. Isto pode igualmente ser usado como o método do revisão.
- Use ferramentas de medição para quantificações de áreas de superfície, volumes e comprimentos. Estas operações estão documentadas em mais detalhes por Jorstad et al.19 e no site Neuromorfo24.
- Use a ferramenta da análise do glicogênio para quantificar a proximidade do glicogênio para espinhas e boutons. As operações são documentadas em mais detalhes em uma publicação anterior10 e no repositório de análise de glicogênio25.
- Importe os objetos usando a importação de lote do NeuroMorph clicando em importar objetos no menu cena , para importar vários objetos ao mesmo tempo. Certifique-se de ativar usar malha e sombreamento suave.
- Executar GLAM23. O código, executável e alguns arquivos de teste estão disponíveis no repositório GLAM26.
- Prepare dois arquivos de geometria no formato. ply: um arquivo de origem contendo grânulos de glicogênio e um arquivo de destino contendo as superfícies morfológicas.
- Prepare três. arquivos de ColorMap ASCII (cada linha contendo t_norm (0.. 1) R (0.. 255) G (0.. 255) B (0.. 255)) para representar valores de absorção local, valores de pico e valores médios de absorção.
- Execute o script C++ GLAM, com os arquivos de geometria (etapa 4.2.1) e arquivos de mapa de cores (etapa 4.2.2), definindo o raio de influência (em mícrons), o valor máximo esperado de absorção e um limiar normalizado para agrupar os picos de absorção. Para obter informações sobre outros parâmetros, execute o script com a opção-help.
- Exporte os resultados como arquivos. ply ou. obj: objetos de destino mapeados por cores com valores GLAM, marcadores de pico de absorção representados como esferas codificadas por cores e objetos de destino codificados por cores em relação ao valor médio de absorção.
- Abra o VR data Interact. VR data Interact-código executável está disponível em um repositório público27.
- Importe malhas a serem visualizadas, seguindo as instruções no menu VR. Certifique-se de importar os arquivos. obj computados na etapa 4.2.1, no caso de uma análise GLAM é necessária.
Representative Results
Ao usar o procedimento apresentado acima, mostramos resultados em duas pilhas de imagens de tamanhos diferentes, para demonstrar como a flexibilidade das ferramentas torna possível escalar o procedimento para conjuntos de dados maiores. Neste caso, os dois conjuntos de dados 3DEM são (i) rato de P14, córtex somatossensorial, camada VI, 100 μm x 100 μm x 76,4 μm4 e (II) rato-de-ratos, CA1 de hipocampo, 7, 7 μm x 6,75 μm x 4,73 μm10.
As etapas de pré-processamento (Figura 1) podem ser executadas da mesma maneira para ambos os conjuntos de dados, simplesmente levando em conta que um conjunto de dados maior, como a primeira pilha, que é de 25 GB, requer mais desempenho de hardware para lidar com grande visualização de dados e processamento . A segunda pilha é apenas 1 GB, com um tamanho de VOXEL perfeitamente isotrópico.
O tamanho dos dados pode não estar diretamente relacionado ao campo de visão (FOV), em vez da resolução da própria pilha, que depende do tamanho máximo do pixel do sensor do microscópio e da ampliação da pilha. Em qualquer caso, logicamente, maiores FOVs são susceptíveis de ocupar mais espaço físico em comparação com menores FOVs, se adquirido na mesma resolução.
Uma vez que a pilha de imagens é importada, como indicado na seção 1 do protocolo, no software de Fiji (Figura 1a), uma liberação científica de ImageJ12, um ponto importante é certificar-se de que o formato de imagem é 8-bit (Figura 1b). Isso porque muitos produtores de software de aquisição de diferentes empresas de microscopia geram seu formato de arquivo proprietário em 16 bits para armazenar metadados relevantes para informações sobre o processo de aquisição (ou seja, tamanho do pixel, espessura, corrente/tensão do feixe de elétrons, pressão da câmara) juntamente com a pilha de imagens. Esses ajustes permitem que os cientistas salvem a memória, pois os metadados que contêm 8 bits extras não afetam as imagens. O segundo parâmetro importante a ser verific é o tamanho do VOXEL, que permite então a reconstrução que segue a segmentação a ser executada na escala correta (micrômetros ou nanometers; Figura 1b).
As pilhas puderam precisar o realinhamento e/ou a costura se foram adquiridos usando o ladrilhos; Estas operações podem ser executadas dentro TrakEM2 (Figura 2a), embora em relação ao realinhamento, automatizado 3dem técnicas como FIB-sem ou 3View são geralmente bem realinharam.
Uma última etapa requer filtragem e, possivelmente, redução da resolução da pilha, dependendo de quais objetos precisam ser reconstruído e se redução da resolução afeta o reconhecimento dos recursos de. Por exemplo, para a pilha maior (do córtex somatossensorial de ratos P14), não foi possível comprometer a resolução em benefício da eficiência de reconstrução, enquanto que para a pilha menor (do hipocampo CA1 de ratos de i-de), foi possível fazê-lo Porque a resolução estava muito acima do que era necessário para que os menores objetos fossem reconstruídos. Finalmente, o uso da máscara unsharp realça a diferença entre as membranas e o fundo, fazendo o favorável para as reconstruções do software como o ilastik que usa inclinações para pré-avaliar beiras.
Após o processamento da imagem, a reconstrução pode ser realizada manualmente usando TrakEM2, ou semi-automaticamente usando ilastik (Figura 2C). Um conjunto de dados como o menor listado aqui (II), que pode ser reduzido para caber na memória, pode ser totalmente segmentado usando ilastik (Figura 2b) para produzir uma reconstrução densa. No caso do primeiro conjunto de dados listado aqui (i), conseguimos carregar e pré-processar todo o conjunto de dados com uma estação de trabalho Linux com 500 GB de RAM. A segmentação esparsa de 16 morfologias completas foi obtida com um pipeline híbrido, extraindo a segmentação áspera que foi revisando manualmente usando TrakEM2.
A análise 3D de características como áreas de superfície, volumes ou a distribuição de glicogênio intracelular pode ser realizada dentro de um ambiente Blender (Figura 3) usando códigos personalizados, como neuromorph19 ou análise de glicogênio10.
No caso de conjuntos de dados contendo grânulos de glicogênio também, a análise de sua distribuição pode ser inferida usando o GLAM, um código C++ que geraria mapas de cores com área de influência diretamente na malha.
Por fim, esses conjuntos de dados complexos podem ser visualizados e analisados usando VR, o que tem sido comprovado como útil para a análise de conjuntos de dados com uma determinada visão oclusada (Figura 4). Por exemplo, os picos inferidos a partir de mapas glam foram prontamente inferidos visualmente de dendritos no segundo conjunto de dados discutido aqui.
Figura 1: processamento de imagem e preparação para segmentação de imagem. (a) GUI principal de Fiji. (b) exemplo de imagens empilhadas do conjunto de dados (i) discutidos nos resultados representativos. O painel à direita mostra as propriedades que permitem ao usuário definir o tamanho do VOXEL. (c) exemplo de uma operação de filer e redimensionar aplicada a uma única imagem. Os painéis na direita mostram ampliações do centro da imagem. Por favor clique aqui para ver uma versão maior desta figura.
Figura 2: segmentação e reconstrução usando TrakEM2 e ilastik. (a) TrakEM2 GUI com objetos segmentados manualmente (em vermelho). (b) a máscara exportada do painel a pode ser usada como entrada (semente) para (c) segmentação semiautomatizada (carving). De ilastik, as máscaras (vermelhas) podem mais ser exportadas a TrakEM2 para o proofreading manual. (d) as máscaras podem então ser exportadas como malhas triangulares 3D para revelar estruturas reconstruídas. Neste exemplo, quatro neurônios, astrocytes, microglia, e pericitos do conjunto de dados (i) (discutido nos resultados representativos) foram reconstruídos usando este processo. Por favor clique aqui para ver uma versão maior desta figura.
Figura 3: análise 3D de morfologias reconstruídas utilizando ferramentas customizadas. (a) volume imaged ISOTRÓPICO do conjunto de dados FIB-sem (II) (conforme discutido nos resultados representativos). b) reconstrução densa do painel a. Cinzento = axônios; verde = processo astrocítico; azul = dendritos. (c) Micrografia mostrando exemplos de alvos para quantificações como sinapses (conjunto de dados (i)) e grânulos de glicogênio astrocítico (conjunto de dados (II)) nas ampliações direitas. (d) máscara do painel c mostrando a distribuição de grânulos de glicogênio em torno de sinapses. (e) quantificação da distribuição de glicogênio a partir do conjunto de dados do painel c, usando a caixa de ferramentas de análise de glicogênio do Blender. As barras de erro indicam erros padrão. N = 4.145 grânulos de glicogênio. (f) uma ilustração gráfica da visualização de entrada e saída do glam. Por favor clique aqui para ver uma versão maior desta figura.
Figura 4: análise em VR. (a) um usuário que usa um headset VR enquanto trabalha em (b) a reconstrução densa do conjunto de dados FIB-sem (II) (conforme discutido nos resultados representativos). (c) cena de VR imersiva de um subconjunto de neuritos do painel b. O laser verde está apontando para um pico GLAM. (d) exemplo de uma análise do pico glam conta em VR. N = 3 ratos por cada barra. Análise do FIB-SEM de uma publicação anterior28. As barras de erro indicam os erros padrão; *p < 0,1, ANOVA One-Way. Por favor clique aqui para ver uma versão maior desta figura.
Discussion
O método apresentado aqui é um guia passo-a-passo útil para a segmentação e reconstrução 3D de um conjunto de dados EM multiescala, se eles vêm de técnicas de imagem de alta resolução, como FIB-SEM, ou outras técnicas automatizadas de corte Serial e de imagem. FIB-SEM tem a vantagem de alcançar potencialmente isotropia perfeita no tamanho do VOXEL cortando seções tão finas quanto 5 nanômetro usando um feixe de íon focalizado, seu FOV pôde ser limitado a 15-20 μm por causa dos artefatos laterais, que são possivelmente devido à deposição do tecido cortado se o FO V excede esse valor. Tais artefatos podem ser evitados usando outras técnicas, tais como SBEM, que usa uma faca de diamante para cortar seções seriais dentro da câmara do microscópio. Neste último caso, a resolução z pode ser em torno de 20 nm na melhor das coisas (geralmente, 50 nm), mas o FOV pode ser maior, embora a resolução de pixel deve ser comprometida para uma vasta região de interesse. Uma solução para superar tais limitações (ampliação vs. FOV) é dividir a região de interesse em telhas e adquirir cada uma delas em uma resolução mais alta. Mostramos aqui os resultados de um conjunto de dados de pilha do SBEM (i) nos resultados representativos-e um conjunto de dados de pilha FIB-SEM (II) nos resultados representativos.
Como a geração de conjuntos de dados maiores e maiores está se tornando cada vez mais comum, os esforços na criação de ferramentas para classificação de pixel e segmentação de imagem automatizada estão se multiplicando; no entanto, até à data, nenhum software tem provado confiabilidade comparável ao da revisão humana, o que é, portanto, ainda necessário, não importa o quanto demorado é. Em geral, conjuntos de dados menores que podem ser desamostrados, como no caso do conjunto de dados (II), podem ser densamente reconstruídos por um único usuário especializado em uma semana, incluindo o tempo de revisão.
O protocolo aqui apresentado envolve o uso de três programas de software em particular: Fiji (versão 2.0.0-RC-65/1.65 b), ilastik (versão 1.3.2 RC2), e Blender (2,79), que são todos os programas de código aberto e multi-plataforma e para download gratuito. Fiji é um lançamento do ImageJ, alimentado por plugins para análise de imagem biológica. Ele tem uma arquitetura de software robusta e é sugerido, pois é uma plataforma comum para os cientistas da vida e inclui TrakEM2, um dos primeiros e mais amplamente utilizados plugins para segmentação de imagem. Um problema experimentado por muitos usuários ultimamente é a transição do Java 6 para o Java 8, que está criando problemas de compatibilidade; Portanto, sugerimos abster-se de atualizar para o Java 8, se possível, para permitir que Fiji funcione corretamente. ilastik é um software poderoso que fornece um número de estruturas para a classificação do pixel, cada um documentado e explicado em seu Web site. O módulo de cinzeladura usado para a segmentação semiautomatizada de pilhas do EM é conveniente porque conserva muito tempo, permitindo que os cientistas reduzam o tempo gasto no trabalho manual dos meses aos dias para um usuário experiente, como com um único clique um neurite inteiro pode ser segmentado em segundos. A etapa de pré-processamento é muito intensa a partir de um ponto de vista de hardware, e conjuntos de dados muito grandes, como a pilha SBEM apresentada aqui, que era 26 GB, exigem estratégias peculiares para caber na memória, Considerando que se poderia adquirir um grande conjunto de dados porque não pode campo de visão e resolução de compromisso. Portanto, a redução da resolução pode não ser uma solução apropriada neste caso. A versão mais recente do software pode fazer o pré-processamento em poucas horas com uma poderosa estação de trabalho Linux, mas a segmentação levaria minutos, e percorrer a pilha ainda seria relativamente lenta. Nós ainda usamos este método para uma segmentação primeiro, áspero, e revisar ele usando TrakEM2. Finalmente, o Blender é um software de modelagem 3D, com um poderoso motor de renderização 3D, que pode ser personalizado com scripts Python que podem ser incorporados na GUI principal como add-ons, como NeuroMorph e análise de glicogênio. A flexibilidade deste software vem com a desvantagem de que, em contraste com Fiji, por exemplo, não é projetado para a visualização on-line de grandes conjuntos de dados; Portanto, Visualizar e navegar através de malhas grandes (superior a 1 GB) pode ser lenta e não eficiente. Por causa disso, é sempre aconselhável escolher técnicas que reduzem a complexidade da malha, mas têm o cuidado de não perturbar a morfologia original da estrutura de interesse. A função malha vem a calhar e é uma característica incorporada da ferramenta de importação de lote neuromorph. Um problema com essa função é que, dependendo do número de vértices da malha original, o valor de profundidade de Octree, que está relacionado à resolução final, deve ser modificado de acordo. Os objetos pequenos podem ser reengrenados com uma profundidade pequena do Octree (por exemplo. 4), mas o mesmo valor pôde interromper a morfologia de objetos maiores, que precisa uns valores mais grandes (6 na melhor parte, a 8 ou mesmo 9 para uma malha muito grande, tal como uma pilha cheia). É aconselhável tornar este processo iterativo e testar as diferentes profundidades de Octree se o tamanho do objeto não estiver claro.
Como mencionado anteriormente, um aspecto que deve ser levado em conta é o poder computacional a ser dedicado à reconstrução e análise, relacionado ao software que está sendo usado. Todas as operações mostradas nos resultados representativos deste manuscrito foram obtidas usando um MacPro, equipado com uma placa gráfica AMD FirePro D500, 64 GB de RAM e uma CPU Intel Xeon E5 com 8 núcleos. Fiji tem uma boa arquitetura de software para lidar com grandes conjuntos de dados; Portanto, é recomendável usar um laptop com um bom desempenho de hardware, como um MacBook Pro com uma CPU Intel i7 de 2,5 GHz e 16 GB de RAM. o software ilastik é mais exigente em termos de recursos de hardware, em particular durante a etapa de pré-processamento. Embora redução da resolução a pilha de imagem é um bom truque para limitar as solicitações de hardware do software e permite que o usuário para processar uma pilha com um laptop (normalmente se ele está abaixo 500 pixels em x,y,z), sugerimos o uso de um high-end computador para executar este software sem problemas. Utilizamos uma estação de trabalho equipada com uma CPU Intel Xeon Gold 6150 com 16 núcleos e 500 GB de RAM.
Quando fornecido com uma reconstrução 3D precisa, os cientistas podem descartar as micrografias originais e trabalhar diretamente nos modelos 3D para extrair dados morfométricos úteis para comparar células do mesmo tipo, bem como diferentes tipos de células, e tirar proveito da VR para avaliações qualitativas e quantitativas das morfologias. Em particular, o uso deste último provou ser benéfico no caso de análises de morfologias densas ou complexas que apresentam oclusão Visual (ou seja, o bloqueio de visão de um objeto de interesse no espaço 3D por um segundo colocado entre o observador e o fi primeiro objeto), dificultando representá-los e analisá-los em 3D. No exemplo apresentado, um usuário experiente demorou cerca de 4 horas não consecutivas para observar os conjuntos de dados e contar os objetos. O tempo gasto na análise de VR pode variar como aspectos como doença de VR (que pode, em certa medida, estar relacionado à doença de carro) pode ter um impacto negativo sobre a experiência do usuário; Neste caso, o usuário pode preferir outras ferramentas de análise e limitar seu tempo dedicado à RV.
Finalmente, todas essas etapas podem ser aplicadas a outras técnicas de microscopia e não-EM que geram pilhas de imagens. O em gera imagens que são, em geral, desafiadoras para manusear e segmentar, em comparação com, por exemplo, microscopia de fluorescência, onde algo comparável a uma máscara binária (sinal versus um fundo preto), que em princípio pode ser prontamente renderizado em 3D para processamento adicional, muitas vezes precisa ser tratada.
Disclosures
Os autores não têm nada a revelar.
Acknowledgments
Este trabalho foi apoiado pelo Rei Abdullah University of Science and Technology (KAUST) subsídios de pesquisa competitiva (CRG) conceder "KAUST-BBP Alliance para modelagem Integrativa do metabolismo energético cerebral" para P.J.M.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C.
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
