Da Voxels alla Conoscenza: Una guida pratica per la segmentazione del Complesso microscopia elettronica 3D-Data

Summary

Il collo di bottiglia per cellulare microscopia elettronica 3D è estrazione di caratteristiche (segmentazione) in mappe di densità 3D altamente complessi. Abbiamo sviluppato una serie di criteri, che fornisce indicazioni su quale approccio di segmentazione (manuale, semi-automatico o automatico) è più adatto per diversi tipi di dati, fornendo così un punto di partenza per la segmentazione efficace.

Abstract

Approcci di microscopia elettronica 3D moderni hanno recentemente permesso visione senza precedenti dell'organizzazione ultrastrutturale 3D di cellule e tessuti, permettendo la visualizzazione di grandi macchine macromolecolari, come i complessi di adesione, così come le strutture di ordine superiore, come il citoscheletro e organuli cellulari nel loro rispettiva cella e il contesto dei tessuti. Data la complessità intrinseca dei volumi cellulari, è essenziale per estrarre prima le caratteristiche di interesse al fine di permettere la visualizzazione, quantificazione, e quindi la comprensione della loro organizzazione 3D. Ogni set di dati è definito da caratteristiche distinte, ad esempio, segnale-rumore, nitidezza (nitidezza) dei dati, l'eterogeneità delle sue caratteristiche, affollamento di funzioni, presenza o assenza di forme caratteristiche che permettono una facile identificazione, e la percentuale dell'intero volume che una specifica regione di interesse occupa. Tutte queste caratteristiche devono essere consideratial momento di decidere su quale approccio adottare per la segmentazione.

I sei differenti set di dati ultrastrutturali 3D presentati sono stati ottenuti da tre immagini differenti approcci: resina incastonato tomografia elettronica macchiato, focalizzato di ioni di tipo beam e il blocco di serie a scansione faccia- microscopia elettronica (FIB-SEM, SBF-SEM) dei campioni leggermente macchiato e fortemente colorate rispettivamente. Per questi insiemi di dati, sono stati applicati quattro diversi approcci di segmentazione: (1) completamente manuale edificio modello seguito esclusivamente dalla visualizzazione del modello, (2) segmentazione tracciamento manuale dei dati seguita da il rendering di superficie, (3) approcci semi-automatizzato seguito mediante fusione di superficie, o algoritmi di segmentazione progettati su misura (4) automatizzati seguiti da resa di superficie e analisi quantitativa. A seconda della combinazione di caratteristiche di set di dati, si è constatato che in genere uno di questi quattro approcci categoriali supera gli altri, ma a seconda della esatta sequenza di criteri, more di un approccio può avere successo. Sulla base di questi dati, vi proponiamo uno schema di triage che categorizza entrambe le caratteristiche dei set di dati oggettivi e criteri personali soggettivi per l'analisi dei diversi set di dati.

Introduction

Tradizionalmente, la microscopia elettronica di campo (EM) è stato suddiviso in 1) il ramo della biologia strutturale con alta e super-alta risoluzione TEM, in genere combinati con i dati impliciti o espliciti media per indagare il tridimensionale (3D) struttura dei complessi macromolecolari con una composizione definita e in genere una dimensione relativamente piccola ^1-4, e 2) il ramo di imaging cellulare in cui interi scenari cellulari sono visualizzati ^1,5,6. Mentre il ramo della biologia strutturale ha subito uno sviluppo spettacolare nel corso degli ultimi quattro decenni, il ramo biologia cellulare è stato in gran parte limitato a due dimensioni, spesso su campioni di meno-che-ottimale conservate. Solo con l'avvento della tomografia elettronica negli ultimi dieci anni ha cellula biologica immagini ultrastrutturali ampliato nella terza dimensione ^5,7, dove in genere la media non può essere eseguita come gli scenari cellulari, e quindi le caratteristiche di interesse, sono in genere unico.

Anche se le scene cellulari visualizzati sono spesso mozzafiato per l'occhio, estrazione efficiente delle caratteristiche di interesse e la successiva analisi quantitativa di tali volumi cellulari molto complessi in ritardo, in parte perché la precisa composizione proteica è generalmente sconosciuta, rendendo quindi difficile interpretare questi cellulare volumi 3D. A questa data, vasta esperienza biologico è spesso necessario per interpretare tomogrammi complesse, o anche per identificare le regioni importanti e componenti essenziali del volume 3D. Come ulteriore complicazione, la visualizzazione di volumi 3D è decisamente non banale. Volumi 3D possono essere pensati e quindi visualizzati come pile di immagini 2D. Ispezione Slice-by-fetta di immagini 2D sequenziali riduce la complessità, ma anche i limiti dispongono di estrazione e l'analisi quantitativa quindi alle due dimensioni. Tuttavia, per la maggior parte degli oggetti 3D, la rappresentazione di volumi 3D come una semplice pila di piani consecutivi porta ad una incompleta und prospettiva distorta nella natura 3D di un particolare sistema. Modi alternativi di ispezione visiva richiedono sia resa volume o il rendering di superficie, che, data la natura spesso denso di un cellulare volume-può facilmente portare a una vista ostruita di oggetti nidificati o sopraffare un utente del tutto, rendendo così la segmentazione manuale interattivo difficile.

Per ovviare a questi ostacoli, una grande varietà di estrazione automatizzata funzione (segmentazione) approcci sono stati sviluppati che sono in genere o densimetri o ^8-10 a base gradiente. Tuttavia, questi metodi tendono a segmentare l'intero volume indipendentemente da quali aree o funzioni sono di interesse per l'esperto, anche se alcuni metodi recenti possono indirizzare una caratteristica specifica di interesse come filamenti di actina ^11. Inoltre, i programmi in esecuzione segmentazione automatica possono talvolta comportare la produzione di un gran numero di sotto-volumi (ad esempio, quando si applica immersio bacinon segmentazione), che spesso hanno bisogno di essere uniti manualmente nuovamente dentro comprendente l'intera funzione di interesse o essere sottoposti ad un'ulteriore segmentazione. Questo vale in particolare per i set di dati complessi e affollati, quindi algoritmi informatici più di rendering non sono in grado di estrarre solo le caratteristiche di interesse con fedeltà, e gli sforzi curation sostanziali da parte di un esperto sono spesso necessari per produrre un volume segmentato desiderato.

Inoltre, soluzioni personalizzate ad un problema molto specifico sono spesso pubblicati come una carta incontro scientifico, con poca o nessuna enfasi sulla rendendoli ampio e strumenti completi accessibili ai ricercatori che non hanno una profonda conoscenza dei settori della matematica, informatica e / o computer grafica. Un ambiente software di programmazione personalizzabile, contenente una serie di librerie di analisi dell'immagine, può essere un insieme potente strumento che permette agli utenti di scrivere in modo efficiente i propri moduli per la segmentazione accurata. Tuttavia, questo approccio richiede extformazione ensive e un background in informatica, al fine di sfruttare le sue numerose caratteristiche o funzionalità per l'analisi delle immagini. Si può lavorare in un tale ambiente software versatile per determinati insiemi di dati in cui le caratteristiche sono più radi, per esempio, utilizzando potenti approcci shape-based che si basano sulla geometria unica di "modelli" per separare gli oggetti di interesse dai loro dintorni ^12,13 .

Una fiera varietà di pacchetti di visualizzazione grafica computerizzata esiste per la segmentazione manuale interattivo e costruzione del modello. Alcuni pacchetti sono disponibili in commercio, mentre altri sono di origine accademica e distribuite gratuitamente, come ad esempio: University of California San Francisco Chimera ^14, University of Colorado IMOD ^15, e la University of Texas di Austin VolumeRover ^16. Tuttavia, l'ampia gamma e la complessità di caratteristiche e funzionalità di questi programmi possiedono più ripido la curva di apprendimento per EAch. Alcuni programmi di visualizzazione forniscono semplici modelli geometrici, come le palline e bastoni di varie dimensioni, che possono essere inseriti nelle mappe di densità al fine di creare un modello semplificato del volume 3D complesso. Questi modelli permettono quindi semplici misure geometriche e volumetriche e quindi vanno al di là solo la "bella immagine". Tale tracciamento manuale di oggetti funziona bene per i volumi di cui solo un piccolo numero di oggetti devono essere rintracciati ed estratto. Tuttavia, il recente sviluppo di grandi volumi di immagini ultrastrutturali 3D utilizzando un fascio ionico focalizzato microscopia elettronica a scansione (FIB-SEM) ^17-20 o il blocco seriale microscopia elettronica a scansione faccia (SBF-SEM) ²¹ presenta la complicazione aggiuntiva che la dimensione dei dati 3D set possono variare da gigabyte a decine e centinaia di gigabyte, e anche i terabyte. Di conseguenza, tali grandi volumi 3D sono praticamente inaccessibili per estrazione di feature manuale, e quindi efficiente semi-automatica impresa user-guidataestrazione ure sarà uno dei colli di bottiglia per l'analisi efficiente dei volumi 3D nel prossimo futuro.

Presentato qui sono quattro diversi approcci di segmentazione che vengono abitualmente utilizzati in una vasta gamma di tipi di immagine biologici. Questi metodi sono poi confrontati per la loro efficacia per diversi tipi di set di dati, consentendo una compilation in una guida per aiutare i biologi a decidere quello che potrebbe essere il miglior approccio di segmentazione per l'estrazione caratteristica efficace dei propri dati. Come manuali d'uso dettagliate sono disponibili per la maggior parte dei programmi descritti, l'obiettivo non è quello di rendere i potenziali utenti di familiarizzare con uno qualsiasi di questi particolari pacchetti. Invece, l'obiettivo è quello di dimostrare i rispettivi punti di forza ei limiti di queste diverse strategie di segmentazione applicandole ai set di dati di esempio sei con caratteristiche differenti. Attraverso questo confronto, una serie di criteri sono stati sviluppati che si basano sia sulle caratteristiche dell'immagine oggettive delSet di dati 3D, come il contrasto dei dati, freschezza, affollamento, e la complessità, o derivano da considerazioni soggettive, come ad esempio l'obiettivo desiderato per la segmentazione, morfologie delle caratteristiche per essere segmentati, densità di popolazione delle caratteristiche di interesse, ovvero la frazione di il volume occupato dalla funzione di interesse, e di come si procede in modo ottimale con risorse limitate come il tempo e la disponibilità del personale. Questi diversi set di dati di esempio illustrano come questi criteri oggettivi e soggettivi possono essere applicati sequenzialmente in una varietà di combinazioni per produrre un abbinamento di alcuni approcci di estrazione caratteristica con alcuni tipi di set di dati. Le raccomandazioni fornite, si spera, aiuterà i novizi di fronte ad una grande varietà di opzioni di segmentazione scegliere il metodo di segmentazione più efficace per il proprio volume 3D.

Mentre l'attenzione di questo articolo è estrazione di caratteristiche, l'attenzione alla raccolta dei dati e dei dati di pre-trattamento è fondamentale per s efficientiegmentation. Spesso la colorazione dei campioni può essere irregolare, e quindi, potenziali artefatti di colorazione deve essere considerato nella procedura di segmentazione. Tuttavia, macchia di solito dà più elevato rapporto segnale-rumore, e quindi richiede meno di filtraggio e di altro trattamento matematico dei volumi cellulari, che potrebbero risultare anche in manufatti. I rispettivi set di dati di immagini grezzi devono essere acquisite con le impostazioni di contrasto e la macchina fotografica dei pixel corretti, allineati, e ricostruito in un volume 3D. Per le tomografie, immagini allineate vengono ricostruite in genere utilizzando ponderato retroproiezione, e quindi il set di dati è di solito sottoposti ad algoritmi di denoising come anisotropo diffusione non lineare ^22, filtraggio bilaterale ^23, o mediana ricorsiva filtraggio ^24. Dati di imaging FIB-SEM e SBF-SEM sono allineati da fette consecutivi incrociati-correlazione in XY programmi che utilizzano, come ImageJ ^25. Miglioramento del contrasto e filtraggio possono essere applicati per aumentare le caratteristiche diinteresse e quindi de-rumore la pila di immagini. Il filtraggio può essere eseguita sia su tutto il volume prima di volume secondario di selezione o sui subvolumes selezionati, come gli approcci di filtraggio possono essere computazionalmente costoso. Down-campionamento dei dati (binning), che è talvolta usato per ridurre il rumore e / o riduzione delle dimensioni del file, è consigliato solo se i dati sono stati significativamente sovracampionato rispetto alla risoluzione anticipata.

Dopo la riduzione del rumore, le immagini elaborate possono essere segmentati con vari metodi, e la messa a fuoco in questo studio è sui seguenti quattro: (1) il manuale generazione del modello astratto attraverso la creazione di un modello di palla-e-bastone, (2) tracciamento manuale delle caratteristiche di interesse, (3) la densità automatizzato basato su soglie, e (4) la segmentazione automatica su misura tramite uno script per il progetto di segmentazione specifica. Segmentazione Boundary ⁸ e coinvolgente segmentazione spartiacque ¹⁰ sono alternative migliori a soglia semplice, ma they appartengono nella stessa categoria e non sono stati inclusi esplicitamente in questa discussione.

Tracciamento manuale di densità richiede delineare le caratteristiche di interesse, affettare-by-slice, che permette il mantenimento della densità originale rispettive aree sub-cellulare. Questo approccio permette un controllo massimo del processo di segmentazione, ma è un processo noioso e laborioso.

Approcci di segmentazione densità (e correlati) basato su soglie automatiche sono semi-automatico, in cui un algoritmo sceglie pixel basato su una serie di parametri definiti dall'utente. Diversi accademici (gratuito) pacchetti di visualizzazione, come UCSF Chimera, MDI, Fiji ^26, e VolumeRover sono disponibili, oltre che commerciale (che richiede licenze a pagamento) pacchetti, ed entrambi i tipi di solito includono uno o più di questi approcci di segmentazione. I pacchetti software utilizzati in questo lavoro per illustrare questi diversi metodi includono sia programmi commerciali e accademici s aperteOurce programmi per generare manualmente un modello astratto, così come la segmentazione manuale e automatica della densità. Tuttavia, il software open source può talvolta offrire opzioni più avanzate, attraverso la possibilità di personalizzazione.

Un confronto di queste tecniche utilizzano differenti tipi di set di dati ha portato alla seguente presentazione di regole e linee guida su come affrontare la segmentazione dei diversi volumi di dati biologici in 3D, che a nostra conoscenza non è ancora stata pubblicata. Quindi, questo è il primo confronto sistematico dei diversi approcci e la loro utilità su insiemi di dati con diverse caratteristiche per gli utenti con finalità diverse.

Protocol

1 Manuale Sottratto modello di generazione

Nota: I dettagli della metodologia descritti di seguito sono specifici per Chimera, ma altri pacchetti software possono essere utilizzati al posto. Utilizzare questo approccio quando l'unico obiettivo è quello di creare un modello geometrico (ad esempio, un modello di palla e bastone) al fine di effettuare misurazioni geometriche, invece di visualizzare la forma del volume degli oggetti.

1. Importare il volume di dati in un programma adatto per manuale generazione del modello astratto.
   1. Selezionare File> Apri Mappa per tirare su la finestra di dialogo Apri file. Selezionare il percorso del file della mappa desiderata.
   2. Sollevare il Volume Viewer (Strumenti> Dati Volume> Volume Viewer) e selezionare Funzioni> Stile di visualizzazione per visualizzare i dati con diversi stili di rendering.
   3. Regolare la soglia per il display trascinando la barra verticale a istogramma in Volume Viewerfinestra.
2. Navigare attraverso il volume 3D (ad esempio, fetta dopo fetta) per selezionare un'area di interesse per la segmentazione e ritagliare un sub-volume più piccolo, se necessario.
   1. Nella finestra di dialogo Volume Viewer, fare clic su Asse, quindi selezionare X, Y, o Z.
   2. Nella finestra di dialogo Volume Viewer, selezionare Funzioni> Aerei. Clicca One per impostare Profondità per visualizzare il piano corrispondente al numero nella casella di sinistra, e fare clic su Tutti per visualizzare tutti i piani.
   3. Nella finestra di dialogo Volume Viewer, selezionare Funzioni> selezione Subregione.
      1. Fare clic e trascinare per creare un rettangolo intorno alla regione di interesse.
3. Posizionare i marcatori lungo la caratteristica di interesse e collegarli con linker, se del caso (spesso fatto automaticamente dal programma) fino a quando il modello è completo.
   1. Dalla barra dei menu Volume Viewer, selezionare Strumenti>Finestra Tracer Volume per aprire la finestra di dialogo Volume Tracer. Nella finestra di dialogo Tracer Volume, selezionare File> Nuovo Marker Set.
   2. Nella finestra di dialogo Tracer volume, controllare Mouse> Luogo marcatori su di alta qualità, segnaposto su piani dati, spostare e ridimensionare i marcatori, Link nuovo marker marker selezionato, e Link marcatori consecutivamente selezionato.
   3. Fare clic sul campione Marker colori, e selezionare un colore. Ripetere questo passaggio per collegamento colore.
   4. Inserisci raggi per i marcatori e gli elementi di collegamento di creazione del modello.
   5. Nella finestra Tracer Volume, selezionare Posizionare i marcatori con il pulsante [destro] del mouse, e inserire raggi per i marcatori e link.
   6. Fare clic destro sui dati del volume per cominciare, che stabilisce i marcatori. I marcatori saranno collegati automaticamente.
   7. Nella finestra di dialogo Tracer Volume, selezionare File> Salva set marcatore corrente, quindi File> Chiudi set marcatore.
4. Aprire un nuovo set marcatore (punto 1.3.1) per iniziare a costruire un modello in una seconda funzione desiderata di interesse. Utilizzare colori tra le serie marcatori a contrasto per sottolineare le differenze nelle caratteristiche.

2 Tracciamento Manuale di caratteristiche di interesse

Nota: I dettagli della metodologia descritti di seguito sono specifici per Amira, ma altri pacchetti software possono essere utilizzati al posto. Utilizzare questo approccio quando la densità di popolazione è relativamente piccola e quando la precisione di estrazione di caratteristiche è fondamentale, in quanto tracciamento manuale è un approccio che richiede tempo.

1. Dati Volume delle importazioni in un programma con opzioni di analisi manuale. Software con questa capacità generalmente offrono almeno uno strumento pennello di base.
   1. Per grandi volumi o tomografie (ad esempio, 16 bit 2.048 x 2.048 o superiore .rec o .mrc tomogrammi generato in IMOD): Selezionare Open Data> clic destro su filename.rec> Formato ...> selezionare Raw come LargeDiskData > Ok> Carica. Selezionare Parametri dati appropriati crudo di informazioni di intestazione> Ok. Alterna e Salva con nome di un nuovo filename.am file per l'uso nei seguenti passaggi.
   2. Per i più piccoli file di immagine 3D dello stack (ad esempio, tif 3D o .mrc o .rec): Open Data> Selezionare filename.tif o filename.mrc. Toggle e fare clic destro> Salva con nome filename.am . Se un errore viene generato o il programma non risponde, il file potrebbe essere troppo grande e può essere aperto seguendo passo 2.1.1.
2. Navigare attraverso le fette di selezionare un sotto-volume 3D per la segmentazione, e poi ritagliare per questa area di interesse.
   1. Nella finestra Visualizzatore 3D, selezionare Orthoslice per aprire file di immagine. Utilizzare cursore in basso per navigare attraverso le fette.
   2. Per ritagliare dati di grandi dimensioni aperti come LargeDiskData, ginocchiera nome del file nella finestra Pool> Tasto destro del mouse> LatticeAccess. Enter dimensioni casella desiderata> Applica. Salvare nuovo file.
3. Crea file di segmentazione.
   1. Spostare il file nella finestra Pool> tasto destro> Etichettatura> labelField. Verrà creato un nuovo file e caricato automaticamente nella scheda Segmentazione Editor.
4. Tracciare il confine del primo lungometraggio di interesse, quindi riempire la traccia a mano o utilizzando un comando specifico per il software utilizzato. Seguire la caratteristica di interesse attraverso tutte le sezioni e ripetere la segmentazione tracciamento manuale. Utilizzare i seguenti comandi quando si utilizza Amira:
   1. Per utilizzare lo strumento Pennello, modificare la dimensione del pennello come desiderato, quindi utilizzare il puntatore del mouse per tracciare il confine della caratteristica di interesse.
   2. Riempire l'area tracciata con scorciatoia "f". Aggiungere la selezione facendo clic sul pulsante con il segno più, o la scorciatoia "a". Se necessario, premere il tasto "u" per annullare, e "s" per sottrarre o cancellare.
5. Generare un rendering di superficie per visualizzazione e qualitativa di base o l'analisi quantitativa per software di istruzioni manuale d'uso.
   1. Nella scheda Oggetto Pool, passare il nome del file-labels.am nella finestra Pool> Tasto destro del mouse> SurfaceGen.
   2. Selezionare le proprietà della superficie desiderata> Applica. Un nuovo filename.surf file verrà creato nella Pool.
   3. Per visualizzare il volume segmentato, ginocchiera filename.surf nella finestra Pool> Tasto destro del mouse> SurfaceView.
   4. Utilizzare gli strumenti nella finestra 3DViewer per spostare, ruotare e ingrandire il volume 3D.
6. Estrarre le densità esatta e determinare le misurazioni come volume o di superficie. Esporta in altri programmi per più avanzate di visualizzazione, l'analisi e la simulazione.
   1. Sulla finestra 3DViewer, fare clic su Misura utensile> Selezionare l'opzione appropriata (lunghezza 2D e angolo 2D per misure su un unico piano 2D, 3D e lunghezza Angle 3Dper misurazioni su un volume 3D).
   2. Clicca su superficie mesh per misurare la lunghezza desiderata, la distanza, e gli angoli. I valori saranno elencati nella finestra Proprietà.

3. automatico segmentazione basata Density-

Nota: I dettagli della metodologia descritti di seguito sono specifici per Amira, ma altri pacchetti software possono essere utilizzati al posto.

1. Utilizzare questo approccio su insiemi di dati con qualsiasi varietà di contrasto, nitidezza, o affollamento di ritirare le densità di interesse.
2. Dati Volume delle importazioni in un programma dotato di soglia, bacchetta magica, o altri strumenti basati densità per la segmentazione automatica. Seguire i passaggi descritti in 2.1-2.1.2 nelle direzioni per il tracciamento manuale.
3. Navigare attraverso fette e selezionare l'area per la segmentazione. Se necessario, ritagliare un sub-volume più piccolo 3D per la segmentazione. Seguire i passaggi descritti in 2.2-2.2.2 nelle direzioni per il tracciamento manuale.
4. Selezionare la densità diuna caratteristica di interesse, di solito facendo clic o mettendo un punto di marchio o di ancoraggio sulla funzione. Se permesso nel software, immettere un intervallo di numeri che comprende l'intensità dei pixel della funzione e regolare questa tolleranza, se lo desideri. Densità appartenenti alla funzione saranno raccolti in base all'intensità del valore del pixel o la tolleranza del ancoraggio. Utilizzare i seguenti comandi quando si utilizzano Amira.
   1. Utilizzare lo strumento Bacchetta magica per caratteristiche con margini distinguibili.
      1. Clicca sull'area di interesse, quindi regolare i cursori in Display e mascheratura di catturare corretto intervallo di valori in modo che la funzione è completamente evidenziata. Aggiungere la selezione con collegamento "a".
   2. Utilizzare lo strumento Soglia per caratteristiche senza margini chiaramente distinguibili.
   3. Selezionare l'icona Soglia. Regolare il dispositivo di scorrimento per regolare la densità nel raggio d'azione auspicabile in modo che solo le caratteristiche di interesse sono mascherati. Fare clic sul pulsante Seleziona, quindi aggiungere la selezione di scelta rapida220; un ".
   4. Per segmento intero volume, selezionare Tutte le sezioni prima di aggiungere la selezione.
   5. Per rimuovere il rumore, selezionare Segmentazione> Rimuovi Isole e / o segmentazione> etichette lisce.
5. Generare una superficie per la visualizzazione e l'analisi qualitativa, come descritto nella sezione tracciamento manuale 2.6-2.6.2. Se lo si desidera, l'esportazione verso altri programmi per un'adeguata visualizzazione 3D, analisi quantitative e simulazioni.

4 su misura automatizzata Segmentazione

Nota: utilizzare questo metodo per creare script personalizzati per la segmentazione automatica, che richiede esperienza background in informatica, ma consente la possibilità di creare un modello preciso di densità da un grande volume.

1. Strumenti (esempio specifico di segmentazione Shape-supervisionata in MATLAB ²⁷⁾
   1. Immagine di pre-processing: Eseguire de-noising, rimozione dello sfondo e miglioramento delle immaginiutilizzando la seguente condotta:
      1. Caricare l'immagine utilizzando il comando imread.
         1. Nella riga di comando, digitare: >> im = imread ($ percorso_immagine), dove $ percorso_immagine è la posizione dell'immagine da analizzare.
      2. Dal Processing Toolbox Immagine, chiamare Wiener Filter utilizzando un rapporto di stima o conosciuto rumore-potenza del segnale (NSR).
      3. Sull'immagine elaborato in precedenza, chiamare la funzione di apertura dell'immagine imopen per stimare il livello di sfondo, quindi destinare il risultato come una maschera diversa.
         1. Nella riga di comando, digitare:. >> Background = imopen (im, Strel ($ shape_string, $ size)), in questo modo, $ shape_string è uguale a 'disco' la variabile $ dimensione è data dalla analizzatore cioè >> background = imopen (im, Strel ('disco', 15)).
      4. Sottrarre l'immagine filtrata con lo sfondo.
         1. Nella riga di comando, digitare: >> IM2 = im -sfondo
      5. A seconda della qualità dei risultati, eseguire la normalizzazione dell'immagine con o senza metodo adattivo di Otsu ^28, che può essere chiamato utilizzando la funzione imadjust dal Image Processing Toolbox.
         1. Nella riga di comando, digitare: >> IM3 = imadjust (IM2)
      6. Preparare le caratteristiche di interesse per la segmentazione, limitando le regioni di interesse da parte ritagliare l'immagine normalizzata.
         1. Utilizzando il comando imtool, esplorare la regione di interesse che deve essere ritagliata e fornire le coordinate al comando: >> im3_crop = imcrop (IM3, [x1 y1 x2 y2]), in cui il vettore [x1 y1 x2 y2] corrisponde a la regione quadrata da ritagliare.
   2. Forma di riconoscimento / classificazione supervisionata forma: Addestrare l'algoritmo fornendo esempi specifici per ogni diversa categoria di oggetti (tracce lineari in un'immagine 2D attraverso le caratteristiche di interesse).
      1. Verificare che VLFEAT ²⁹ API viene installato correttamente e visitare il sito web di VLFEAT per la documentazione più approfondita.
      2. Nella riga di comando, digitare: >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, K $, $ NLEAVES) dove $ K è il numero di cluster da utilizzare o il numero di classi dell'osservatore vuole organizzare i dati in, e $ NLEAVES è il numero desiderato di cluster foglia cioè >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, 4.100)
      3. Utilizzare le funzioni segmentati manualmente come input per VLFeat.
         NOTA: Questa libreria open source basato sul C si esibirà patching dei pixel, delle patch di clustering, e posizionamento centro del cluster in base al tipo di metodo scelto di lavorare meglio per i set di dati. Le opzioni disponibili variano da k-media per il clustering basato su approcci Texton ^30, e l'uscita è una matrice numerica che descrive le caratteristiche auspicate in base alla data esemplari.
2. Segmentazione: Utilizzare questa fully automatizzato, anche se computazionalmente costoso, approccio al segmento più classi di oggetti contemporaneamente, che verranno scritte come mappe separate per ulteriori visualizzazione e l'analisi.
   1. Caricare l'array numerico generato in precedenza (modello).
   2. Chiamare la funzione di macchine di supporto vettoriale (SVM) in VLFeat, utilizzando il modello e l'immagine da segmentato come ingresso.
      1. Nella riga di comando, digitare: >> [w, b] = vl_svmtrain (x, y, 0,1), dove x è l'originale ritagliata immagine im2_crop e y è l'immagine oggettiva, l'immagine che è stata segmentato manualmente. Utilizzare >> ISEG = VL_IMSEG (I, etichette) per colorare i risultati in base alle etichette generate dal raggruppamento.
         NOTA: Sulla base delle caratteristiche del modello, VLFeat classificherà l'immagine del numero di classi (caratteristiche di interesse) assegnati dall'inizio. A seconda del grado di accuratezza desiderato, è possibile combinare questo metodo con altri approcci o stima cluster parametri come i centri di scafo e di cluster. L'output dell'algoritmo SVM è un modello probabilistico e più maschere binarie delle classi desiderati nei nuovi insiemi di dati.
   3. Salvare i risultati immettendo il comando: >> imwrite (im, format $, $ nomefile) dove $ formato è 'tiff' e $ nomefile è il percorso per il file di output.
   4. Per visualizzare le immagini, immettere il comando: >> imshow (im).

Results

La Figura 1 mostra un tipico flusso di lavoro per la microscopia elettronica imaging 3D cellulare, compreso tomografia elettronica, FIB-SEM, e SBF-SEM. Il flusso di lavoro comprende la raccolta di dati grezzi, l'allineamento dei dati e la ricostruzione in un volume 3D, riduzione del rumore attraverso il filtraggio, e, quando necessario, il ritaglio per la regione di interesse, al fine di massimizzare l'efficacia del software di segmentazione scelta. Tali dati pre-elaborato è quindi pronto per estrazione di caratteristiche / segmentazione.

La figura 2 illustra il flusso di lavoro disposte in Figura 1 con quattro insiemi diversi di dati (che saranno introdotti più avanti), di cui due campioni di resina-embedded registrati da tomografia elettronica (figure 2A, 2B), con gli altri due, determinati dalla FIB -SEM e SBF-SEM, rispettivamente (Figure 2C, 2D). Immagini in Figura 2 colonna 1 sono di proiezioneviste (Figure 2A1, 2B1) e immagini superficiali blocco (Figure 2C1, 2D1), rispettivamente, che al momento l'allineamento e la ricostruzione sono assemblati in un volume 3D. Colonna 2 mostra fette attraverso tali volumi 3D, che su di filtraggio (colonna 3) mostrano una significativa riduzione del rumore e quindi spesso appaiono più nitide. Dopo aver selezionato e ritagliare il grande volume 3D per la regione di interesse (colonna 4), rendering 3D di caratteristiche segmentate di interesse (colonna 5) possono essere ottenuti e ulteriormente controllati, colore codificati e analizzati quantitativamente.

Un totale di sei set di dati 3D, ciascuna contenente una pila di immagini ottenute sia attraverso la tomografia elettronica (3 insiemi di dati), FIB-SEM (2 set di dati), o SBF-SEM (1 set di dati) vengono utilizzati per confrontare come ciascuno di i quattro metodi di segmentazione eseguire (Figura 3). I set di dati derivano da una varietà di diversi progetti di ricerca in laboratorio e fornire così arinsieme eterogeneo di easonably tipici insiemi di dati sperimentali. Tutti i set di dati sono stati esaminati da quattro ricercatori indipendenti, ognuno dei quali sono più familiarità con un particolare approccio, e sono stati accusati di fornire il miglior risultato possibile per ciascuno dei sei insiemi di dati.

I set di dati sono da campioni come segue: 1 Figure 3A1-3A5: alta pressione-congelato, congelamento-sostituiti e resina-embedded pulcino capelli dell'orecchio interno stereocilia cella ^31, 2. Figure 3B1-3B5: alta pressione-congelato, freeze sostituito e parete cellulare vegetale in resina-embedded (inedito), 3. Figures 3C1-3C5: alta pressione congelato, congelare-sostituiti e interiore kinocilium cella capelli orecchio resina-embedded (inedito), 4. Figures 3D1-3D5: alta pressione- congelati, congelare-sostituiti e blocchi di resina-embedded di mitocondri situati in cellule epiteliali mammarie umane ghiandola HMT-3522 S1 acini, che sono state coltivate in laminina ricco Extracellmatrice lare ^32,33, 5. Figure 3E1-3E5: senza macchia banco-Processing, blocchi di resina-embedded di un solfato riduttori biofilm batterici (manoscritto in preparazione), e 6 figure 3F1-3F5: confine membrana delle cellule vicine del HMT -3522 S1 acini.

Come si può vedere dalla figura 3, differenti approcci di segmentazione possono portare a risultati analoghi principalmente per alcuni tipi di set di dati, ma risultati completamente differenti per altri tipi di dati. Ad esempio, il set di dati stereocilia delle cellule dei capelli (Figura 3A) produce volumi di segmentazione ragionevoli con tutti e quattro gli approcci, con il modello astratto manuale generato da un utente esperto di essere il più chiaro di interpretare e misura. In questo caso, tale modello consente misurazioni rapide di distanze filamento-incandescenza, contando il numero di collegamento trovato tra i filamenti allungati, nonché la determinazione delle parti mancanti della mappa di densità corrispondentedi luoghi in cui il campione è stato danneggiato durante la preparazione del campione ^34. Tale informazione è molto più difficile da acquisire utilizzando gli altri tre approcci di segmentazione, anche se la segmentazione automatica su misura fornisce risultati migliori rispetto della soglia puramente densità-based.

Per la parete cellulare delle piante (Figura 3B), generazione del modello manuale sembrava essere il più efficiente nel trasmettere un senso di ordine nella parete cellulare, che nessuno degli altri approcci raggiungere. Tuttavia, il modello astratto non cattura l'affollamento degli oggetti nel set di dati. Manualmente funzionalità di analisi di interesse sembra dare un risultato migliore rispetto agli approcci basati densità o forma-sorvegliate. D'altra parte, tracciamento manuale è molto laborioso e individuando confini delle caratteristiche è alquanto soggettiva. Pertanto, gli approcci automatizzati possono essere preferiti per la segmentazione grandi volumi con un potenziale trade-off tra precisione erisorse spese per la segmentazione manuale.

Per il set di dati kinocilium (Figura 3C), manuale generazione modello sottratto produce il risultato più pulito e rivela un'architettura inaspettata di tre microtubuli al centro della kinocilium, un dettaglio che è facilmente visibile nei dati ritagliate, ma ha perso in tutti gli altri approcci , presumibilmente a causa di macchiare eterogeneità. Tuttavia, altre caratteristiche potenzialmente cruciali della mappa di densità sono mancati nella generazione manuale di un modello astratto. Ciò è dovuto al fatto che la natura personale della formazione modello manuale porta ad una idealizzazione e astrazione della densità effettiva osservata, e quindi ad una interpretazione personale durante la formazione del modello. Quindi, questo esempio che dimostra come manuale di generazione del modello astratto permette di concentrarsi su un aspetto specifico del volume 3D. Tuttavia, la percezione selettiva e la semplificazione non riesce a dare un resoconto completo di tutte le proteine ​​complexes presenti nel set di dati. Pertanto, se l'obiettivo è di mostrare la complessità dei dati, poi si è meglio servita con una qualsiasi delle altre tre approcci.

Nel caso del 3D matrice colta ghiandola mammaria acini (Figura 3D), i mitocondri ad alto contrasto sono segmentati da tutti i quattro approcci con facilità, con il tracciamento manuale di caratteristiche non troppo sorprendente che producono i migliori risultati con l'importo più basso di contaminazione ( Figura 3D3). Tuttavia, tracciamento manuale è molto alta intensità di lavoro ed è quindi di limitata utilità per grandi volumi. Entrambi soglia basata sulla densità e la forma-supervisionato segmentazione automatizzata estrarre i mitocondri abbastanza bene, e si tradurrebbe in una segmentazione quasi perfetto, se sono impiegati altri trucchi per la pulizia (ad esempio, eliminando tutti gli oggetti al di sotto di una determinata soglia di densità di voxel) come disponibili in diversi pacchetti. In questo caso, manuale di costruzione di modello astratto non ha datorisultati promettenti, in parte perché i mitocondri non possono facilmente essere approssimate con modelli di palla e bastone.

Per quanto riguarda la comunità batterica del suolo / biofilm (Figura 3E), tre dei quattro approcci forniscono risultati ragionevoli, con la generazione del modello manuale non funziona bene a causa della sfida di rappresentare oggetti biologici, come i batteri, di forme geometriche. Appendici extracellulari provenienti dai batteri possono essere rilevate negli approcci di segmentazione automatizzate ma non così bene nella funzione di tracciamento manuale. Forma-supervisionato segmentazione automatizzata su misura in grado di separare ulteriormente le caratteristiche extracellulari dei batteri nonostante le loro densità simili (dati non mostrati), consente una facile quantificazione anche estremamente grandi insiemi di dati. Perché questo è in origine un grande insieme di dati, la segmentazione automatica su misura chiaramente outcompeted tutti gli altri approcci, ma potrebbe aver beneficiato della bassa complessitàe la distribuzione relativamente scarsa degli oggetti di interesse (basso affollamento).

Nell'esaminare l'interfaccia tra due cellule eucariotiche in un contesto di tessuto-like (Figura 3F), solo il tracciamento manuale delle caratteristiche di interesse ha prodotto buoni risultati. Approcci di segmentazione basata densità-automatici non riescono a rilevare il confine membrana tra cellule adiacenti del tutto, e anche gli approcci su misura non riesce, in parte perché la forma di una cellula non è facilmente approssimata o equiparato con forme, nonostante il suo evidente successo per i batteri nel biofilm (Figura 3E5).

L'osservazione dalla Figura 3, che gli approcci di segmentazione fare bene su alcune serie di dati, ma non su altri ha portato la questione di ciò che caratterizza ciascuno di questi insiemi di dati, e se era possibile categorizzare i tipi di caratteristiche dati o scopi personali che sembravano abbinare bene con la loro respective approccio. Studio sistematico di questo tema non è stato precedentemente condotta, e, quindi, come primo passo uno stabilimento di un elenco empirica delle caratteristiche di immagine e obiettivi personali possono guidare un novizio nel loro tentativo di trovare l'approccio migliore per estrazione delle caratteristiche dei rispettivi set di dati.

Otto criteri sono stati identificati come significativi sono mostrati in figura 4, e possono essere suddivisi in due categorie principali: (1) le caratteristiche che sono insiti nel set di dati, e (2) gli obiettivi personali del ricercatore e altre considerazioni che sono un po 'più soggettiva, anche se altrettanto importante. Gli esempi riportati sono prevalentemente tratte da sei set di dati in figura 3, con tre set di dati aggiuntivi in fase di introduzione: uno (Figura 4A1) è un crio-tomogramma di un crio-tratto di parete cellulare vegetale Arabidopsis thaliana, il secondo (Figure 4A2 , 4B1, 4D1 figure 3F1-3F5, ma è ancora più sostanziale complessa, e il terzo (Figure 4B2 , 4D2) è una resina sezione del tomogramma interna stereocilia delle cellule dei capelli orecchio in sezione trasversale, simile al contenuto di esempio illustrato in vista longitudinale in Figuress 2A1-2A5 e 3A1-3A5.

Per la categoria dei criteri oggettivi come le caratteristiche di immagini, quattro caratteristiche intrinseche nei set di dati sono proposti di importanza:

1. Il contrasto di dati può essere (1) basso (Figura 4A1), come è tipico per le tomografie crio-EM, (2) intermedio (Figura 4A2), come ad esempio in scenari cellulari senza organello chiara o altra caratteristica prominente in piedi, o (3) ad alta (Figura 4A3), come è il caso per la kinocitomogramma acces- o stereocilia in sezione trasversale, causa l'allineamento degli elementi filamentosi chiaramente separati all'interno della direzione z.
2. I dati possono essere sfocata (Figura 4B1), senza visibilmente chiari confini tra due oggetti strettamente posizionati, come le cellule in un tessuto, o croccanti (Figura 4B2), con confini ben definiti. Questo è in parte una funzione della risoluzione insieme di dati, che è intrinsecamente più elevato di un fattore di circa 2-4 per tomogrammi elettroni rispetto al FIB-SEM. Naturalmente, i confini più nitide sono auspicabili sia manuale così come gli approcci di segmentazione automatizzate, ma essenziale per il secondo approccio.
3. Le mappe di densità possono essere sia affollato (Figura 4C1), come risulta dai componenti della parete cellulare vegetale ben distanziati, o scarsamente popolate (Figura 4C2), così come i batteri in una colonia, che esemplifica la separazione che rende automatizzato segmentazione dell'immagine sostanzialmente più facile.
4. Le mappe di densità possono essere altamente complesso con caratteristiche molto diverse, spesso con forme irregolari, come il tessuto stria vascularis attorno ad un vaso sanguigno (Figura 4D1) o organelli oggetti simili ben definiti con una simile organizzazione, come stereocilia in sezione trasversale ( Figura 4D2).

Da notare anche le molto diverse scale in tutti i diversi esempi, rendendo il paragone un po 'difficile.

Oltre ai criteri più oggettivi, quali le caratteristiche di immagini, quattro criteri altamente soggettivi che guideranno la selezione del percorso appropriato sono anche proposti:

1. Obiettivo desiderata: L'obiettivo può essere quello di visualizzare il fascio di capelli stereocilium nella sua complessità e per determinare ed esaminare la forma dell'oggetto (Figura 4E1), o per creare un modello di palla e bastone semplificata e astratta che è costruito nella mappa di densità e permette un veloce conteggio di unmisurazione nd degli oggetti geometrici (lunghezza filamento, distanza e numero di connessioni) (Figura 4E2).
2. La caratteristica morfologia può essere molto irregolare e complessa come le cellule, come le zone di interazione cellula-cellula (Figura 4F1), un po 'simile forma con qualche variazione, come i mitocondri (Figura 4F2), o per lo più di forma identica, come i filamenti di actina e croce collegamenti in una fascio di capelli in orientamento longitudinale (Figura 4F3).
3. La proporzione della caratteristica di interesse (densità di popolazione) è importante, come si può desiderare di segmento tutte le caratteristiche di un insieme di dati 3D, come nel caso di pareti cellulari delle piante (Figura 4G1), o solo una piccola frazione del volume cellulare come è il caso di mitocondri in una scena cellulare eterogenea (Figura 4G2). A seconda della dimensione del set di dati e la percentuale del volume che richiede segmentazione, può essere più efficiente utilizzareapprocci manuali. In altri casi, ad esempio quando si è interessati in una varietà di funzioni, semplicemente non c'è alternativa utilizzando approcci di segmentazione semi-automatica.
4. Un altro criterio soggettivo fondamentale è la quantità di risorse si è disposti ad investire nel processo di segmentazione e quale livello di fedeltà è tenuto a rispondere a una domanda biologica. Si può desiderare e hanno bisogno di quantificare i parametri volumetrici di una caratteristica (quali dimensione, volume, superficie, lunghezza, distanza da altre funzioni, ecc), nel qual caso più attenzione può essere necessaria per ottenere informazioni quantitative precise (Figura 4H1), o lo scopo può essere quello di scattare solo una foto della sua forma 3D (Figura 4H2). In un mondo ideale in cui le risorse sono illimitate, uno chiaramente non vorrebbe scendere a compromessi, ma piuttosto optare per il percorso più accurata di estrazione delle feature manuale d'uso assistita. Anche se questo può funzionare per molti insiemi di dati, in un prossimo futuro volumi 3D wil l è nell'ordine di 10k da 10k da 10k o superiore, e la segmentazione manuale non sarà più in grado di svolgere un ruolo di primo piano nella segmentazione uno spazio così enorme. A seconda della complessità dei dati e altre caratteristiche dei dati, segmentazione semiautomatica può diventare una necessità.

Nella Figura 5, i punti di forza e le limitazioni sono brevemente elencate per i quattro approcci di segmentazione. Gli obiettivi personali e le caratteristiche dell'immagine identificati nella Figura 4, che è possibile accoppiare ciascun approccio sono descritti come bene. Nella Figura 6, gli obiettivi personali e le caratteristiche di immagine dei sei set di dati esemplificano come triage dati e decidere l'approccio migliore. Entrambe le figure 5 e 6 sono espanse su nella discussione.

Carico / 51.673 / 51673fig1highres.jpg "width =" 500px "/>
Figura 1 Flusso di lavoro per la ricostruzione di immagini biologiche e l'analisi. Questa tabella fornisce una panoramica delle varie misure adottate per raccogliere ed elaborare le immagini raccolte da tomografia, focalizzato fascio di ioni SEM, e blocco faccia seriale SEM. Risultati della raccolta di dati grezzi in serie tilt 2D o sezioni seriali. Questi set di immagini 2D devono essere allineati e ricostruiti in 3D, poi filtrato al fine di ridurre il rumore e migliorare il contrasto delle caratteristiche di interesse. Infine, i dati possono essere segmentati e analizzati, che si traduce in un modello 3D. Cliccate qui per vedere una versione più grande di questa figura.

Figura 2.. Esempi di flusso di lavoro per i diversi tipi di dati di tomografia e FIB-SEM Ogni fase del flusso di lavoro dopo la raccolta dei dati viene mostrato attraverso quattro set di dati (righe AD): resina incorporati tomografia macchiato di stereocilia sezione longitudinale, resina incastonato tomografia macchiato della parete cellulare vegetale cellulosa, FIB-SEM di seno mitocondri delle cellule epiteliali, e SBF-SEM di E. coli, batteri. Una fetta 2D attraverso i dati grezzi è mostrato nella colonna 1, e un'immagine dai dati dopo l'allineamento e la ricostruzione 3D comprende colonna 2 Le tecniche di filtraggio applicate nella colonna 3 sono i seguenti: filtro mediano (A3), filtro diffusore non anisotropi (B3), sfocatura gaussiana (C3), e il filtro imadjust di MATLAB (D3). Un esempio della migliore segmentazione per ogni record della superficie coltivata di interesse (colonna 4) i dati vengono visualizzati come il rendering 3D in colonna 5. bar Scala: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm,D1-D3 = 2 mm D4-D5 = 200 nm. Cliccate qui per vedere una versione più grande di questa figura.

Figura 3 Applicazione di quattro segmentazione si avvicina ai set di dati di esempio serie di dati Six esempio sono stati segmentati da tutti i quattro approcci:. Manuale generazione astratto modello, tracciamento manuale, segmentazione automatica basata densità, e segmentazione automatica su misura. Manuale di generazione del modello astratto è stato efficace per la resina incorporato tomografia macchiato di stereocilia (A), in quanto lo scopo era quello di creare un modello per scopi quantitativi piuttosto che per estrarre densità. Per la resina incorporato tomografia macchiato della parete cellulare vegetale (B), automatizzato segmentazione basata densità-zione è stato il metodo più efficace per estrarre rapidamente la cellulosa attraverso molte fette, dove i metodi manuali hanno preso molto più sforzo da solo un paio di fette di dati. Manuale di generazione del modello astratto generato terzina microtubuli nella tomografia macchiato di kinocilium (C), mentre altri metodi di segmentazione non hanno, ancora i due approcci automatizzati estratto le densità più rapidamente ed erano quindi preferito. A causa della forma dei mitocondri da FIB-SEM di cellule epiteliali mammarie (D), tracciamento manuale fornito il risultato più pulito, e la bassa densità di popolazione combinata con l'uso di metodi di interpolazione consentito per la segmentazione rapido. Dato il grande volume che doveva essere segmentato, su misura segmentazione automatizzata ha dimostrato di essere più efficace per segmentare i batteri dati SBF-SEM (E), ma entrambi gli approcci automatici erano comparabili. Anche se in termini di tempo, l'unico metodo per estrarre il FIB-SEM della membrana delle cellule epiteliali della mammella (F) era tracciamento manuale Scala Bars.:A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 nm, F1-F5, bar = 500 nm. Cliccate qui per visualizzare un grande versione di questa figura.

Figura 4. caratteristiche di immagine Obiettivo e finalità personali soggettivi per triaging dei set di dati. Utilizzando esempi di set di dati le caratteristiche, i criteri sono proposti per informare una decisione che la segmentazione approccio da utilizzare per. Per quanto riguarda le caratteristiche oggettive, i dati possono di per sé un contrasto che è a basso, medio o alto (A1-A3), è sfocata o croccanti (B1-B2), distanziati o affollata (C1-C2), e hanno complessi o semplicemente caratteristiche organizzati (D1-D2). Obiettivi personali soggettivi includono l'o desiderato OBIETTIVO mira un modello semplificato o estrarre le densità esatte (E1-E2), individuando un foglio contorto, il volume contorto, o morfologia lineare la caratteristica di interesse (F1-F3), la scelta di un alta o bassa densità di popolazione della caratteristica di interesse (G1-G2), e decidere il trade-off tra alta fedeltà e alta di allocazione delle risorse per un ritorno diminuzione degli investimenti come il tempo (H1-H2) Scale Bars:. A1 = 50 nm, A2 = 1500 nm , A3 = 100 nm, B1 = 1500 nm, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, 100 nm = E1, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Cliccate qui per vedere una versione più grande di questa figura.

px "/>
Figura 5 Tabella comparativa delle caratteristiche dei dati e soggettiva mira appropriati per i diversi approcci di segmentazione. Questa tabella riassume i punti di forza ei limiti di ogni approccio di segmentazione. I criteri di Figura 4 possono aiutare a identificare quali dataset sono adatti per il quale metodo di segmentazione. Queste caratteristiche oggettive di immagini e finalità personali soggettive furono scelti per un uso ottimale di ogni approccio, ma diverse combinazioni possono ostacolare o aiutare l'efficacia della segmentazione. Cliccate qui per vedere una versione più grande di questa figura.

Figura 6 Decisione diagramma di flusso per un efficiente tmatri- di segmentazione approcci per i set di dati con caratteristiche diverse. Sulla base delle caratteristiche evidenziate in figura 4, questo diagramma illustra quattro criteri che hanno contribuito maggiormente alla decisione finale sulla migliore strategia di segmentazione per ogni set di dati di Figura 3. Ciascun set di dati è colore codificato a seguire rapidamente le linee in grassetto rappresentano il processo decisionale primario, così come le linee tratteggiate che riflettono un percorso alternativo che può o non può comportare lo stesso approccio. I kinocilium, batteri, e set di dati della parete cellulare vegetale sono stati meglio segmentate con i due approcci automatizzati. Al contrario, i percorsi membrana cellulare e mitocondri portano sempre al tracciamento manuale per le loro caratteristiche difficili. Cliccate qui per vedere una versione più grande di questa figura.

Discussion

Strategie efficaci per l'estrazione di caratteristiche rilevanti di volumi 3D EM sono urgentemente necessarie al fine di tenere il passo con lo tsunami di dati che ha recentemente colpito l'imaging biologico. Mentre i dati possono essere generati in ore o giorni, ci vogliono molti mesi per analizzare i volumi 3D in profondità. Pertanto, è chiaro che l'analisi delle immagini è diventato il collo di bottiglia per scoperte scientifiche; senza soluzioni adeguate per questi problemi, gli scienziati di imaging diventano vittime del loro stesso successo. Ciò è in parte dovuto alla elevata complessità dei dati e anche l'affollamento macromolecolare tipicamente presenti nelle cellule biologiche, dove le proteine ​​e complessi proteici una frontiera all'altra e sostanzialmente appaiono come un gradiente continuo di densità in scala di grigi. Il problema è complicato dalla preparazione del campione e di imaging imperfezioni, e in alcuni manufatti di ricostruzione dell'immagine casi, portando a meno che perfetto dati volumetrici che possono rappresentare sfide per approccio completamente automatizzatoes. Più significativo, tuttavia, è il fatto che gli esperti in preparazione del campione, l'imaging, e l'interpretazione biologica sono raramente ben versati nella scienza computazionale, e quindi richiedono una guida su come affrontare in modo efficace estrazione di caratteristiche e di analisi. Pertanto, attraverso l'uso di vari esempi, il protocollo spiega come preparare i dati per la segmentazione, nonché i passaggi per la generazione manuale astratto modello, la segmentazione automatica basata densità, tracciamento manuale delle caratteristiche di interesse, e la segmentazione automatica su misura. Gli approcci manuali e automatiche descritte nella procedura si possono trovare in una grande varietà di software di segmentazione, alcuni dei quali sono menzionati qui, ma altri svolgono funzioni analoghe e sono ugualmente adatti.

I risultati dimostrano che l'efficacia di ciascuno dei metodi di segmentazione 3D varia per ogni diversa tipologia di insiemi di dati. Anche se i diversi approcci hanno prodotto qualitativamente srendering 3D analoghe sui come il prodotto finale, la quantità di tempo e lo sforzo speso per ciascun durante il processo di segmentazione varia in modo significativo. Le raccomandazioni per adeguate caratteristiche di immagine e gli obiettivi personali per ogni approccio di segmentazione sono riassunti nella figura 5, che viene ulteriormente spiegata nelle seguenti quattro sottosezioni. Questi criteri sono stati applicati ai sei set di dati, come mostrato nel diagramma di flusso decisione di figura 6. Sebbene figure 5 e 6 sono semplicemente lo scopo di fornire una spiegazione razionale per ogni set di dati e di come ciascuno dei criteri sono stati pesati nel processo decisionale, non forniscono una guida infallibile, ma piuttosto un punto di partenza. Ci sono semplicemente troppi criteri che influenzano il processo decisionale: alcuni sono criteri oggettivi, quali le caratteristiche dei set di dati, mentre altri sono criteri più soggettivi, come ad esempio l'obiettivo desiderato. E 'sicuro dire che i set di dati che mostrano un alto livel di contrasto con contorni nitidi taglienti, hanno caratteristiche che sono ben separati e relativamente omogenea (non troppo diversi), e vengono elaborati con l'obiettivo di esporre un modello di densità per un gran numero di oggetti, metodi automatizzati saranno superiori, se non per il fatto che gli approcci manuali sarebbero semplicemente delle risorse (tempo) -prohibitive. D'altra parte, se il contrasto è basso, il dato è sfocata e richiede la conoscenza di un esperto, gli oggetti sono affollate, e le caratteristiche mostrano una grande diversità e sono quindi eterogenei quindi, uno non può avere altra scelta che l'estrazione di feature manuale / segmentazione.

Manuale Sottratto Modello Generation

Manuale astratto modello di analisi è particolarmente efficace nella segmentazione elementi lineari, fornendo sementi punti (palline) che possono essere collegati automaticamente (bastoncini). Tali palle e bastoni-modelli possono essere molto potente per misurare la lunghezza di unnd orientamento di tale modello e fornire un modello sufficientemente estratta sia per l'ispezione qualitativa e analisi quantitativa. Manuale di generazione del modello astratto viene comunemente usato quando minimizzando le risorse impiegate per l'analisi è più importante di assoluta fedeltà alle forme dei dati originali. E 'di maggior successo con le caratteristiche lineari e omogenei di interesse (ad esempio, filamenti, tubi). Dati contrasto, nitidezza, e affollamento non svolgono un ruolo importante nel determinare il successo di questo metodo, a patto che l'occhio umano può riconoscere l'oggetto di interesse. A volte tali modelli possono anche essere utilizzati come uno scheletro di segmentare la mappa 3D in una zona intorno allo scheletro. Anche se il modello è astratto piuttosto che un riflesso di densità esatte, rappresenta una versione scheletrato della densità 3D e quindi permette la visualizzazione senza disordine e analisi qualitativa. Le misure quantitative come la lunghezza possono essere determinate dal modello approssimato. Per unesempio di software con manuale astratto generazione del modello, si prega di visitare la guida dettagliata di Chimera online all'indirizzo http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html .

Tracciamento Manuale delle caratteristiche di interesse

Manuale pennello tracciato funziona bene con quasi tutte le caratteristiche dei dati, ma è anche il più metodo che richiede tempo. A volte, è l'unica tecnica per l'estrazione di una funzione di interesse da un set di immagini complesso contenente una grande varietà di caratteristiche, come la membrana cellulare sottile e contorto. Un utile strumento disponibile in alcuni programmi permette di interpolazione tra le fette intermittenza segmentati quando la funzione di interesse cambia senza problemi. Tracciamento manuale può essere applicato in modo più efficiente se i dati è fresco e ha medio-alto contrasto, ma può anche essere utilizzatoper insiemi di dati più impegnativi, a patto che l'utente abbia familiarità con l'oggetto di interesse. La complessità dei dati può variare da oggetti discreti a insiemi di dati complessi e affollati, dove gli oggetti sono strettamente imballate. In quest'ultimo caso, la segmentazione manuale può essere l'unica scelta, come approcci automatici spesso stentano a segmentare il volume desiderato e estrarre troppo o troppo poco. Caratteristica morfologie difficili, come ad esempio fogli o volumi contorti, possono anche essere estratti da questo metodo. Tuttavia, l'utente deve tenere a mente che un set di dati con diverse caratteristiche difficili può essere segmentato solo se la densità di popolazione delle caratteristiche di interesse è basso, come la segmentazione di alta densità di popolazione delle caratteristiche di interesse diventa tempo proibitivo. Per un esempio di software di tracciamento manuale, si prega di visitare la guida dettagliata di Amira online all'indirizzo http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf.

Automatizzata Segmentazione basata Densità-

In contrasto con le tecniche manuali, i metodi automatizzati sono generalmente meno in termini di tempo, che è un fattore importante da considerare quando segmentare una grande pila di immagini. Tuttavia, soglia semplice potrebbe non essere precisi e molto più tempo può essere speso per la raffinatezza e la curatela del volume segmentato automaticamente. Segmentazione basata densità automatica funziona meglio su insiemi di dati che mostrano un gran numero di caratteristiche simili di interesse che richiedono tutte segmentazione. Se i dati è più complessa, queste tecniche automatizzate possono ancora servire come un primo passo, ma probabilmente richiedere un intervento manuale lungo la linea per specificare un volume secondario contenente la caratteristica di interesse. Questa strategia funziona generalmente bene su morfologie lineari o volumi contorti, ma raramente è successo con fogli sottili contorti, comemembrane cellulari. Intervento minimo da parte dell'utente con approcci automatizzati consente la segmentazione attraverso volumi grandi o piccole, mentre spendendo poche risorse degli utenti come il tempo in cambio di alta fedeltà. Per un esempio di software con segmentazione basata densità automatizzato, si prega di visitare la guida dettagliata di Amira online all'indirizzo http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf .

Su misura automatizzata Segmentazione

Su misura segmentazione automatizzata consente la personalizzazione potere di algoritmi per un set di dati specifici, ma spesso è specifico per i set di dati o tipo di dati, appropriati per un numero limitato di funzionalità caratteristiche, e non può essere generalizzata facilmente. Il procedimento presentato qui è diversa da approcci di segmentazione automatizzate generali, come l'immersione spartiacque e altri livelli di metodi set, che si basano su una determinazione programmato di punti critici di semi, seguita da rapida espansione-marciando cubo da questi punti di sementi. Una variazione su questo tema è la segmentazione di confine, dove le informazioni gradiente vettore informa funzionalità confini. Al contrario, lo script personalizzato qui utilizzato si basa su una fase di formazione in cui l'utente traccia manualmente alcuni esempi. Attraverso l'apprendimento automatico, algoritmi specifici in grado di rilevare e poi imparare a riconoscere autonomamente le proprietà e le caratteristiche dei dati costantemente presenti in tracce. Un utente esperto può riqualificare gli algoritmi e migliorare la precisione di segmentazione includendo esempio più traccia di fornire un più ampio insieme di criteri di funzionalità. In generale, gli approcci thresholding e approcci relativi, o anche su misura possono non essere così utile per estrarre una singola caratteristica di interesse da un'immagine con complessa diversità di organelli o forme, come curation può essere altrettanto alta intensità di lavoro come tracciamento manuale.

">

Strategie per triaging dati e scelta di un approccio di segmentazione

Dati i criteri soggettivi ed oggettivi presentati nella figura 4 e sintesi di set di dati idonei in figura 5, lo schema decisionale rappresentato in figura 6 in grado di assistere una valutazione efficace delle strategie di estrazione di funzione per una grande varietà di insiemi di dati. I gruppi di dati vengono analizzati e suddivisi in quattro decisioni consecutivi, ciascuno dei quali possono includere uno qualsiasi dei quattro rispettivi obiettivi nonché i quattro criteri soggettivi introdotti nella Figura 4. Come esempio, la Figura 6 è il razionale per triaging ciascuno dei dati di sei insiemi mostrati in Figura 3. Indubbiamente, per impostare ogni dato non vi è un unico percorso unico, ma piuttosto diversi percorsi attraverso questa matrice seguenti criteri diversi per il processo decisionale che può portare to uguali o diversi raccomandazione per la segmentazione di dati. Mentre ogni set di dati avrà il proprio insieme di proprietà, che non si possono prevedere, sei esempi sono dato, ognuno accoppiato con una spiegazione della logica alla base del metodo di estrazione / segmentazione caratteristica preferita. Includere più anche una proposta per un percorso alternativo decisione che abbia conseguenze l'uso dello stesso o di un diverso approccio segmentazione (Figura 6).

Il kinocilium è un croccante set di dati con confini ben definiti, il che rende gli approcci automatizzati più probabilità di successo. Tutte le caratteristiche di interesse sono ben separati, ancora una volta favorendo un approccio automatizzato. Inoltre, le caratteristiche di interesse sono simili l'uno all'altro, il che rende relativamente omogeneo insieme di dati ideale per la segmentazione su misura. Infine, l'obiettivo era quello di estrarre l'intera funzione, favorendo un approccio semi-automatico. Di conseguenza, si è concluso che una soglia automatica (solida linea verde), così come una (ad esempio, la forma di segmentazione sorvegliata) approccio custom-designed (linea tratteggiata verde) sono entrambi propensi a fare bene su questo set di dati.

Criteri simili, anche se collocato in un ordine diverso nella rete decisioni, si applicano al caso di batteri. Un approccio su misura è raccomandato in parte perché questo insieme di dati era molto grande; di conseguenza, le risorse limitate vietano un manuale approccio intervento / segmentazione alta intensità di lavoro. Mentre soglia avrebbe dato risultati accettabili, l'approccio custom-designed è stato in grado di eseguire obiettivo chiave dello studio di separare le forme batteriche tondeggianti dai depositi di metalli extracellulari, che si trova sia in-tra i batteri o accanto ai batteri, e quindi la approccio su misura è stato preferito.

Per i set di dati stereocilia, la prima considerazione è stato l'obiettivo desiderato: l'obiettivo può essere sia di mostrare tutta la densitào per creare modelli geometrici. Il volume di interesse era una zona affollata, e l'obiettivo è stato quello di segmento di un gran numero di oggetti come oggetti separati, al fine di effettuare successivamente l'analisi volumetrica quantitativa, comprese le lunghezze, i numeri, distanze, orientamento, ecc E 'stato utile che gli oggetti di interessi erano principalmente lineare, e questo ha reso il modello geometrico tracciando il metodo di scelta. Tuttavia, se invece l'obiettivo è stato quello di mostrare l'intera densità, quindi la caratteristica morfologia lineare e relativamente elevato contrasto con confini ben definiti farebbe un protocollo di soglia automatica fattibile.

Le membrane cellulari e casi di dati mitocondri fallo di approcci automatizzati a causa delle loro categorie di caratteristica morfologia: fogli e volumi involuto, rispettivamente. L'obiettivo è quello di tracciare la cella o mitocondri contorno con precisione, ma ci sono solo risorse limitate per farlo. Inoltre, le caratteristiche di traest sono complesse e non può essere facilmente rilevato o forma codificata automaticamente, anche se per i dati mitocondri imposta il metodo di scripting personalizzato adottato per i batteri possono eventualmente essere applicato con un'ulteriore personalizzazione. Fortunatamente, la membrana e mitocondri stessi rappresentano solo una piccola parte dell'intero volume e, di conseguenza, tracciamento manuale è un semplice seppur approccio richiede tempo. Tracciamento manuale è anche il metodo di scelta per tali insiemi di dati quando il contrasto è piuttosto basso ed i confini sono piuttosto confuso. Di conseguenza, anche se essi costituiscono una parte significativa del set di dati, tali fogli contorte devono essere tracciate manualmente, semplicemente a causa della mancanza di un'alternativa migliore.

Il set di dati di impianto posato le sue sfide perché l'obiettivo era quello di segmento tutti gli oggetti, che sono densamente distanziati e compongono un paesaggio affollato. Visualizzazione della densità così com'è consentirebbe misurazioni circa la forma e l'organizzazione degli oggetti, ma because segmentare manualmente ogni oggetto filamentosa è troppo costoso, soglia automatica è stato impiegato invece.

Le varie fasi ed i risultati corrispondenti nella creazione di un modello 3D sono state esposte qui, ma ancora più importante, le caratteristiche dei dati e dei criteri personali trovati a essere cruciale nel determinare il miglior percorso di segmentazione sono stati anche chiariti. Le caratteristiche importanti includono dati dell'immagine stessa ciò che è descritto qui come contrasto, affollamento, freschezza, e il numero di forme o funzioni (quali organelli, filamenti, membrane) differenti. Criteri soggettivi da considerare sono l'obiettivo auspicato di segmentazione (misura / conteggio, rappresentazione scheletrato dei dati / Visualizzazione dei volumi di rendering 3D), le caratteristiche morfologiche della caratteristica di interesse (lineare, allungata, in rete, complesso, contorto), la densità di caratteristiche di interesse in relazione a tutto il volume (la frazione degli oggetti che sonoimportante e necessitano di essere estratti), e bilanciando i compromessi di spendere risorse per la fedeltà della segmentazione dei dati originali e il ritorno con riduzione degli investimenti con conseguente miglioramenti incrementali per sostanzialmente più elevato allocazione delle risorse.

Il campo di segmentazione dell'immagine è notevolmente maturato nel corso degli ultimi anni, eppure non c'è pallottola d'argento, nessun algoritmo o un programma che può fare tutto. Dimensioni dei set di dati sono cresciuti da centinaia di megabyte di routine decine di gigabyte, e ora stanno iniziando a superare terabyte, rendendo la segmentazione manuale quasi impossibile. Così, più risorse devono essere investite negli approcci di estrazione funzionalità intelligenti e di tempo-efficace che imitano il processo decisionale umano. Tali sforzi dovranno essere combinato con (1) sistema di informazione geografica (GIS) a base di semantiche basi di dati gerarchiche (simile a Google Earth), (2) tecniche di astrazione dei dati (ad esempio, la transizioneda un voxel alla rappresentazione / volumetrico geometrico) compatibile con il calcolatore di progettazione assistita (CAD) software al fine di ridurre significativamente la quantità di dati e consentendo così la visualizzazione di grandi volumi ^35, (3) tecniche di simulazione, in quanto essi sono spesso usati nella discipline ingegneristiche, nonché (4) animazione avanzata e creazione di filmati funzionalità, tra cui animazioni fly-through (simile a quello che viene sviluppato per l'industria del gioco).

Chiaramente, estrazione delle caratteristiche efficiente e segmentazione è al centro di questa rivoluzione nel prossimo cellulare imaging ad alta risoluzione, e mentre saranno sempre necessari approcci migliori, i principi qui presentati, così come gli esempi di quale approccio è stato adottato per diversi tipi di dati , fornirà alcune informazioni utili per prendere una decisione su quale approccio adottare.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Amira	FEI Visualization Sciences Group		http://www.vsg3d.com/amira/overview
Chimera	UCSF		http://www.cgl.ucsf.edu/chimera/
Fiji/ImageJ	National Institute of Health		http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/
IMOD	Boulder Laboratory for 3D Electronic Microscopy of Cells		http://bio3d.colorado.edu/imod/
Photoshop	Adobe		http://www.adobe.com/products/ photoshopfamily.html
MATLAB	MathWorks		http://www.mathworks.com/
VLFeat	VLFeat		http://www.vlfeat.org/