La pipeline descritta è progettata per la segmentazione di set di dati di microscopia elettronica più grandi di gigabyte, per estrarre morfologie intere celle. Una volta che le celle sono state ricostruite in 3D, software personalizzato progettato intorno alle esigenze individuali può essere utilizzato per eseguire un’analisi qualitativa e quantitativa direttamente in 3D, utilizzando anche la realtà virtuale per superare vista occlusione.
La sezionamento seriale e la successiva imaging ad alta risoluzione del tessuto biologico utilizzando la microscopia elettronica (EM) consentono alla segmentazione e alla ricostruzione di pile a immagine ad alta risoluzione di rivelare modelli ultrastrutturali che non potevano essere risolti utilizzando 2D Immagini. Infatti, quest’ultimo potrebbe portare a un’errata interpretazione delle morfologie, come nel caso dei mitocondri; l’uso di modelli 3D è, quindi, sempre più comune e applicato alla formulazione di ipotesi funzionali basate sulla morfologia. Ad oggi, l’uso di modelli 3D generati da pile di immagini di luce o elettroni rende le valutazioni qualitative e visive, così come la quantificazione, più convenienti da eseguire direttamente in 3D. Poiché questi modelli sono spesso estremamente complessi, è anche importante creare un ambiente di realtà virtuale per superare l’occlusione e sfruttare appieno la struttura 3D. Qui, una guida passo-passo dalla segmentazione dell’immagine alla ricostruzione e all’analisi è descritta in dettaglio.
Il primo modello proposto per la configurazione di una microscopia elettronica che consente la sezione seriale automatizzata e l’imaging risale al 19811; la diffusione di tali configurazioni automatizzate e migliorate per immagini di grandi campioni utilizzando EM aumentata negli ultimi dieci anni2,3, e opere che mostrano impressionanti ricostruzioni dense o morfologie complete immediatamente seguito4, 5,6,7,8,9,10.
La produzione di set di dati di grandi dimensioni è stata fornita con la necessità di pipeline migliorate per la segmentazione delle immagini. Gli strumenti software per la segmentazione manuale delle sezioni seriali, come RECONSTRUCT e TrakEM211,12, sono stati progettati per la microscopia elettronica a trasmissione (TEM). Poiché l’intero processo può richiedere molto tempo, questi strumenti non sono appropriati quando si tratta di migliaia di micrografie seriali che possono essere generati automaticamente con tecniche di sezione seriale EM automatizzate (3DEM), come microscopia elettronica a scansione a blocchi (SBEM)3 o microscopia elettronica a scansione del fascio focalizzato (FIB-SEM)2. Per questo motivo, gli scienziati hanno messo gli sforzi nello sviluppo di strumenti semi-automatizzati, nonché di strumenti completamente automatizzati, per migliorare l’efficienza della segmentazione. Strumenti completamente automatizzati, basati su machine learning13 o algoritmi di classificazione dei pixel non addestrati allo stato dell’arte14,vengono migliorati per essere utilizzati da una comunità più ampia; tuttavia, la segmentazione è ancora lungi dall’essere pienamente affidabile, e molte opere sono ancora basate sul lavoro manuale, che è inefficiente in termini di tempo di segmentazione, ma fornisce ancora completa affidabilità. Gli strumenti semiautomatici, come ilastik15, rappresentano un compromesso migliore, in quanto forniscono una lettura immediata per la segmentazione che può essere corretta in una certa misura, anche se non fornisce un quadro di correzione reale e può essere integrato utilizzando TrakEM2 in parallelo16.
La segmentazione su larga scala è, ad oggi, per lo più limitata alla connettomica; pertanto, gli informatici sono più interessati a fornire quadri per le visualizzazioni integrate di grandi set di dati annotati e ad analizzare i modelli di connettività dedotti dalla presenza di contatti sinaptici17,18. Tuttavia, ricostruzioni 3D accurate possono essere utilizzate per analisi morfometriche quantitative, piuttosto che valutazioni qualitative delle strutture 3D. Strumenti come NeuroMorph19,20 e analisi glicogeno10 sono stati sviluppati per prendere misure sulle ricostruzioni 3D per lunghezze, aree di superficie e volumi, e sulla distribuzione di punti nuvola, completamente scartando lo stack EM originale8,10. Gli astrociti rappresentano un caso di studio interessante, perché la mancanza di indizi visivi o modelli strutturali ripetitivi danno ai ricercatori un accenno sulla funzione delle singole unità strutturali e la conseguente mancanza di un’adeguata ontologia dei processi astrociti 21, rendere difficile la progettazione di strumenti analitici. Un recente tentativo è stato l’Assotite22, che consente un’esplorazione visiva dei processi astrociti e l’inferenza di relazioni qualitative tra processi astrociti citici e neuriti.
Tuttavia, la comodità dell’imaging del tessuto sezionato sotto EM deriva dal fatto che la quantità di informazioni nascoste in campioni di cervello intatti è enorme e l’interpretazione di immagini a sezione singola può superare questo problema. La densità delle strutture nel cervello è così alta che ricostruzioni 3D anche di pochi oggetti visibili contemporaneamente renderebbero impossibile distinguerli visivamente. Per questo motivo, abbiamo recentemente proposto l’uso della realtà virtuale (VR) come metodo migliorato per osservare strutture complesse. Ci concentriamo sugli astrociti23 per superare l’occlusione (che è il blocco della visibilità di un oggetto di interesse con un secondo spazio, in uno spazio 3D) e facilitare le valutazioni qualitative delle ricostruzioni, tra cui la correzione delle bozze, così come le quantificazioni di feature utilizzando il conteggio dei punti nello spazio. Recentemente abbiamo combinato l’esplorazione visiva VR con l’uso di GLAM (modello di assorbimento lattato derivato dal glicogeno), una tecnica per visualizzare una mappa della probabilità di navetta lattato di neuriti, considerando i granuli di glicogeno come corpi che emettono luce23; in particolare, abbiamo usato la VR per quantificare i picchi di luce prodotti da GLAM.
Il metodo qui presentato è un’utile guida passo-passo per la segmentazione e la ricostruzione 3D di un set di dati EM multiscala, sia che provengano da tecniche di imaging ad alta risoluzione, come FIB-SEM, o altre tecniche di sezionamento e imaging seriali automatizzate. FIB-SEM ha il vantaggio di raggiungere potenzialmente l’isotropia perfetta in formato voxel tagliando sezioni sottili fino a 5 nm utilizzando un fascio ionico focalizzato, il suo FOV potrebbe essere limitato a 15-20 m a causa di artefatti laterali, che sono probabilmente dovuti alla deposizione del tessuto tagliato se la FO V supera questo valore. Tali artefatti possono essere evitati utilizzando altre tecniche, come SBEM, che utilizza un coltello di adiamante per tagliare sezioni seriali all’interno della camera del microscopio. In quest’ultimo caso, la risoluzione z può essere di circa 20 nm nella migliore delle posizioni (in genere, 50 nm), ma il FOV potrebbe essere più grande, anche se la risoluzione dei pixel deve essere compromessa per una vasta area di interesse. Una soluzione per superare tali limitazioni (ingrandimento contro FOV) è quella di dividere la regione di interesse nelle piastrelle e acquisire ciascuno di essi ad una risoluzione più alta. Abbiamo mostrato qui i risultati di un set di dati dello stack SBEM (i) nei risultati rappresentativi, sia di un set di dati dello stack FIB-SEM (ii) nei risultati rappresentativi.
Man mano che la generazione di set di dati sempre più grandi e grandi sta diventando sempre più comune, gli sforzi per la creazione di strumenti per la classificazione dei pixel e la segmentazione automatica delle immagini si moltiplicano; tuttavia, ad oggi, nessun software ha dimostrato un’affidabilità paragonabile a quella della revisione umana, che è quindi ancora necessaria, indipendentemente dal suo dispendioso in termini di tempo. In generale, i set di dati più piccoli che possono essere sottocampionati, come nel caso del set di dati (ii), possono essere ricostruiti densamente da un singolo utente esperto in una settimana, incluso il tempo di correzione delle revisioni.
Il protocollo qui presentato prevede l’uso di tre programmi software in particolare: Fiji (versione 2.0.0-rc-65/1.65b), ilastik (versione 1.3.2 rc2) e Blender (2.79), che sono tutti programmi open-source e multi-piattaforma e scaricabili gratuitamente. Fiji è un rilascio di ImageJ, alimentato da plugin per l’analisi biologica delle immagini. Ha un’architettura software robusta ed è suggerito in quanto è una piattaforma comune per gli scienziati della vita e comprende TrakEM2, uno dei primi e più ampiamente utilizzati plugin per la segmentazione delle immagini. Un problema sperimentato da molti utenti ultimamente è la transizione da Java 6 a Java 8, che sta creando problemi di compatibilità; pertanto, si consiglia di astenersi dall’aggiornamento a Java 8, se possibile, per consentire alle Figi di funzionare correttamente. ilastik è un potente software che fornisce una serie di quadri per la classificazione dei pixel, ognuno documentato e spiegato sul loro sito web. Il modulo di intaglio utilizzato per la segmentazione semi-automatica degli stack EM è conveniente in quanto consente di risparmiare molto tempo, consentendo agli scienziati di ridurre il tempo dedicato al lavoro manuale da mesi a giorni per un utente esperto, come con un solo clic un intero neurite può essere segmentati in pochi secondi. La fase di pre-elaborazione è molto intensa dal punto di vista hardware e set di dati molto grandi, come lo stack SBEM presentato qui, che era di 26 GB, richiedono strategie peculiari per adattarsi alla memoria, considerando che si acquisirebbe set di dati di grandi dimensioni perché non è possibile campo di opinione e risoluzione di compromesso. Pertanto, il downsampling potrebbe non essere una soluzione appropriata in questo caso. L’ultima versione del software può fare la pre-elaborazione in poche ore con una potente workstation Linux, ma la segmentazione richiederebbe minuti, e scorrendo attraverso lo stack sarebbe ancora relativamente lento. Usiamo ancora questo metodo per una prima segmentazione approssimativa e ne leggiamo la prova usando TrakEM2. Infine, Blender è un software di modellazione 3D, con un potente motore di rendering 3D, che può essere personalizzato con script pitone che possono essere incorporati nella GUI principale come componenti aggiuntivi, come NeuroMorph e analisi glicogeno. La flessibilità di questo software viene fornito con lo svantaggio che, a differenza delle Fiji, per esempio, non è progettato per la visualizzazione online di grandi set di dati; pertanto, la visualizzazione e la navigazione tra grandi dimensioni (superiore a 1 GB) potrebbero essere lente e non efficienti. Per questo motivo, è sempre consigliabile scegliere tecniche che riducano la complessità della maglia ma stiano attenti a non interrompere la morfologia originale della struttura di interesse. La funzione remesh è utile ed è una funzionalità incorporata dello strumento di importazione batch NeuroMorph. Un problema con questa funzione è che, a seconda del numero di vertici della mesh originale, il valore di profondità dell’octree, che è correlato alla risoluzione finale, deve essere modificato di conseguenza. Gli oggetti piccoli possono essere ristampati con una piccola profondità di octree (ad esempio 4), ma lo stesso valore potrebbe interrompere la morfologia di oggetti più grandi, che ha bisogno di valori più grandi (6 al massimo, a 8 o anche 9 per una mesh molto grande, come una cella completa). Si consiglia di rendere iterativo questo processo e testare le diverse profondità dell’octree se le dimensioni dell’oggetto non sono chiare.
Come accennato in precedenza, un aspetto che dovrebbe essere preso in considerazione è la potenza di calcolo da dedicare alla ricostruzione e all’analisi, relative al software che viene utilizzato. Tutte le operazioni mostrate nei risultati rappresentativi di questo manoscritto sono state ottenute utilizzando un MacPro, dotato di una scheda grafica AMD FirePro D500, 64 GB di RAM e una CPU Intel Xeon E5 con 8 core. Fiji ha una buona architettura software per la gestione di grandi set di dati; pertanto, si consiglia di utilizzare un computer portatile con buone prestazioni hardware, ad esempio un MacBook Pro con una CPU Intel i7 da 2,5 GHz e 16 GB di RAM. Il software ilastik è più esigente in termini di risorse hardware, in particolare durante la fase di pre-elaborazione. Anche se il downsampling dello stack di immagini è un buon trucco per limitare le richieste hardware dal software e consente all’utente di elaborare una pila con un computer portatile (in genere se è inferiore a 500 pixel in x,y,z), suggeriamo l’uso di un high-end computer per eseguire questo software senza problemi. Utilizziamo una workstation dotata di CPU Intel Xeon Gold 6150 con 16 core e 500 GB di RAM.
Quando viene fornita una ricostruzione 3D accurata, gli scienziati possono eliminare i micrografi originali e lavorare direttamente sui modelli 3D per estrarre dati morfometrici utili per confrontare cellule dello stesso tipo, nonché diversi tipi di cellule, e sfruttare la realtà virtuale per valutazioni qualitative e quantitative delle morfologie. In particolare, l’uso di quest’ultimo si è dimostrato vantaggioso nel caso di analisi di morfologie dense o complesse che presentano occlusione visiva (cioè il blocco di vista di un oggetto di interesse nello spazio 3D da parte di un secondo posto tra l’osservatore e la fi rst oggetto), rendendo difficile rappresentarli e analizzarli in 3D. Nell’esempio presentato, un utente esperto ha impiegato circa 4 ore non consecutive per osservare i set di dati e contare gli oggetti. Il tempo dedicato all’analisi della realtà virtuale può variare in quanto aspetti come la malattia della realtà virtuale (che può, in una certa misura, essere correlata al mal d’auto) possono avere un impatto negativo sull’esperienza utente; in questo caso, l’utente potrebbe preferire altri strumenti di analisi e limitare il tempo dedicato alla realtà virtuale.
Infine, tutti questi passaggi possono essere applicati ad altre tecniche di microscopia e non EM che generano pile di immagini. EM genera immagini che sono, in generale, difficili da gestire e segmentare, rispetto, ad esempio, alla microscopia a fluorescenza, dove qualcosa di paragonabile a una maschera binaria (segnale contro sfondo nero), che in linea di principio può essere prontamente resa in 3D per un’ulteriore elaborazione, spesso deve essere affrontata.
The authors have nothing to disclose.
Questo lavoro è stato sostenuto dalla sovvenzione “KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism” della King Abdullah University of Science and Technology (KAUST) “KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism” a P.J.M.
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |