Segmentazione basata sul deep learning dei tomogrammi crioelettronici
November 11th, 2022
Questo è un metodo per addestrare un U-Net multi-fetta per la segmentazione multi-classe di tomogrammi crioelettronici utilizzando una porzione di un tomogramma come input di allenamento. Descriviamo come dedurre questa rete ad altri tomogrammi e come estrarre segmentazioni per ulteriori analisi, come la media dei sottotomogrammi e il tracciamento dei filamenti.
La cosa più interessante del nostro protocollo è che consente a qualsiasi laboratorio di essere operativo utilizzando questi protocolli di deep learning per segmentare grandi quantità di dati crio-ET. Il vantaggio principale del nostro flusso di lavoro è che Dragonfly fornisce un ambiente computazionale di livello professionale per l'addestramento di reti neurali multiclasse per la segmentazione e che può davvero accelerare notevolmente il processo di segmentazione. L'apprendimento della segmentazione delle immagini richiede tempo, quindi assicurati di testare gli strumenti e apprendere le associazioni chiave per semplificare davvero il flusso di lavoro nel tempo.
Dopo aver configurato il software, procedere con l'importazione dell'immagine andando su File e selezionando Importa file immagine. Quindi fare clic su Aggiungi, passare al file di immagine, fare clic su Apri e selezionare Avanti, quindi Fine. Create una scala di intensità personalizzata accedendo a Utilità (Utilities) e selezionando Gestione unità quota.
Fate clic su più (plus) in basso a sinistra per creare una nuova unità di quota. Scegli una caratteristica ad alta e bassa intensità in tutti i tomogrammi di interesse. Assegnare all'unità un nome e un'abbreviazione e salvare l'unità di dimensione personalizzata.
Per calibrare le immagini in base alla scala di intensità personalizzata, fare clic con il pulsante destro del mouse sul set di dati nella colonna Proprietà sul lato destro dello schermo e selezionare Calibra scala di intensità. Quindi, vai alla scheda principale sul lato sinistro dello schermo e scorri verso il basso fino alla sezione della sonda. Utilizzando lo strumento sonda circolare con un diametro appropriato, fare clic su alcuni punti nella regione di sfondo del tomogramma e registrare il numero medio nella colonna di intensità grezza.
Ripetere l'operazione per i marcatori fiduciali e fare clic su Calibra (Calibrate). Se necessario, regolate il contrasto per rendere nuovamente visibili le strutture con lo strumento area nella sezione di livellamento della finestra della scheda principale. Sul lato sinistro della scheda principale, scorri verso il basso fino al pannello di elaborazione delle immagini.
Fare clic su Avanzate e attendere l'apertura di una nuova finestra. Dal pannello Proprietà, selezionare il set di dati da filtrare e renderlo visibile facendo clic sull'icona a forma di occhio a sinistra del set di dati. Quindi, utilizzare il menu a discesa dal pannello delle operazioni per selezionare l'equalizzazione dell'istogramma per la prima operazione.
Selezionare Aggiungi operazione, fare clic su Gaussian e modificare la dimensione del kernel in 3D. Aggiungete la terza operazione, quindi selezionate Unsharp e lasciate l'output per questa. Applicare l'equalizzazione a tutte le sezioni e lasciare che il filtro venga eseguito, quindi chiudere la finestra di elaborazione delle immagini per tornare all'interfaccia principale.
Per identificare l'area di addestramento, accedere al pannello delle proprietà dei dati nascondendo prima il set di dati non filtrato facendo clic sull'icona a forma di occhio a sinistra di esso. Quindi, mostra il set di dati appena filtrato. Utilizzando il dataset filtrato, identificare una sottoregione del tomogramma che contenga tutte le caratteristiche di interesse.
Ora crea una casella intorno all'area di interesse scorrendo verso il basso fino alla categoria Forme e selezionando Crea una casella sul lato sinistro della scheda principale. Nel pannello a quattro viste, utilizzate i diversi piani 2D per guidare o trascinare i bordi della casella per racchiudere solo la regione di interesse in tutte le dimensioni. Nell'elenco dei dati, selezionare l'area della casella e modificare il colore del bordo per una visualizzazione più semplice facendo clic sul quadrato grigio accanto al simbolo dell'occhio.
Per creare un multi-ROI, seleziona la scheda Segmentazione, fai clic su Nuovo sul lato sinistro e seleziona Crea come multi-ROI. Assicurarsi che il numero di classi corrisponda al numero di feature di interesse più una classe di background. Assegnare un nome ai dati di training multi-ROI e assicurarsi che la geometria corrisponda al set di dati prima di fare clic su OK. Quindi, scorrere i dati fino a raggiungere i limiti dell'area riquadrata.
Seleziona il Multi-ROI nel menu Proprietà a destra. Fare doppio clic sul primo nome di classe vuota nel multi-ROI per assegnargli un nome. Per colorare con il pennello 2D, scorrere verso il basso fino a Strumenti 2D nella scheda Segmentazione a sinistra e selezionare un pennello circolare.
Quindi seleziona Gaussiana adattiva o OTSU locale dal menu a discesa, colora tenendo premuto il tasto sinistro del controllo più clic e cancella tenendo premuto il tasto Maiusc più clic. Una volta che tutte le strutture sono state etichettate, fai clic con il pulsante destro del mouse sulla classe di sfondo nel multi-ROI e seleziona Aggiungi tutti i voxel senza etichetta alla classe. Quindi, crea un nuovo ROI a classe singola denominato Mask.
Assicurarsi che la geometria sia impostata sul set di dati filtrati, quindi fare clic su Applica. Nella scheda Proprietà a destra, fai clic con il pulsante destro del mouse sulla casella, seleziona Aggiungi a ROI e aggiungilo al ROI della maschera. Per tagliare i dati di allenamento utilizzando la maschera, vai alla scheda Proprietà e seleziona sia i dati di allenamento, il multi-ROI e il ROI della maschera tenendo premuto il controllo e facendo clic su ciascuno.
Quindi, fare clic su Interseca sotto l'elenco delle proprietà dei dati nella sezione Operazioni booleane. Assegnare al nuovo dataset il nome di input di training tagliato e assicurarsi che la geometria corrisponda al dataset filtrato prima di fare clic su OK. Importare i dati di training nella Segmentazione guidata facendo clic con il pulsante destro del mouse sul set di dati filtrato nella scheda Proprietà e selezionando l'opzione Segmentazione guidata. Una volta aperta una nuova finestra, cerca la scheda Input sul lato destro.
Fare clic su Importa fotogrammi da un ROI multiplo e selezionare l'input Formazione tagliata. Per generare un nuovo modello di rete neurale, fare clic sul pulsante più sul lato destro nella scheda del modello. Selezionate Rete U dall'elenco, selezionate 2.5 D e cinque sezioni per la quota di input, quindi fate clic su Genera (Generate).
Per addestrare la rete, fare clic su Treno in basso a destra della finestra di Seg Wiz. Una volta completato l'addestramento dell'unità, utilizzare la rete addestrata per segmentare nuovi frame, creare un nuovo frame e fare clic su Prevedi. Quindi fai clic sulla freccia verso l'alto in alto a destra del fotogramma previsto per trasferire la segmentazione al fotogramma reale.
Per correggere la previsione, fate clic tenendo premuto il tasto Ctrl su due classi per modificare i pixel segmentati di una nell'altra. Selezionate entrambe le classi e colorate con il pennello per colorare solo i pixel appartenenti a una delle due classi. Correggete la segmentazione in almeno cinque nuovi fotogrammi.
Per l'addestramento iterativo, fai di nuovo clic sul pulsante Allena e consenti alla rete di allenarsi ulteriormente per altre 30-40 epiche. A questo punto, interrompi l'allenamento e inizia un altro ciclo di allenamento. Quando si è soddisfatti delle prestazioni della rete, pubblicarla uscendo dalla Segmentazione guidata.
Viene visualizzata una finestra di dialogo che chiede quali modelli pubblicare. Selezionare la rete riuscita, assegnarle un nome, quindi pubblicarla per rendere la rete disponibile per l'uso al di fuori della Segmentazione guidata. Innanzitutto, selezionate il set di dati filtrati nel pannello Proprietà da applicare al tomogramma di addestramento.
Nel pannello Segmentazione a sinistra, scorri verso il basso fino alla sezione Segmento con AI. Assicurarsi che sia selezionato il set di dati corretto. Scegli il modello pubblicato di recente nel menu a discesa, quindi fai clic su Segmento, quindi su Tutte le fette.
Per applicare a un set di dati di inferenza, importare il nuovo tomogramma e preelaborarlo come illustrato in precedenza. Nel pannello di segmentazione, vai alla sezione Segmento con AI. Assicuratevi che il tomogramma appena filtrato sia il set di dati selezionato, scegliete il modello sottoposto a training precedente, fate clic sul segmento e selezionate Tutte le sezioni.
Ripulisci rapidamente il rumore scegliendo prima una delle classi che hanno il rumore segmentato e la caratteristica di interesse. Quindi, fare clic con il pulsante destro del mouse su Process Islands, selezionare Removed by Voxel Count, quindi fare clic su Select a Voxel Size. Inizia con piccoli conteggi e aumenta gradualmente il conteggio per rimuovere la maggior parte del rumore.
Per la correzione della segmentazione, fate clic tenendo premuto il tasto Ctrl su due classi per colorare i pixel appartenenti solo a tali classi. Fai clic tenendo premuto il tasto Ctrl e trascina con gli strumenti di segmentazione per cambiare i pixel della seconda classe nella prima e fai clic tenendo premuto Maiusc più trascina per ottenere il contrario. Un'unità a cinque sezioni è stata addestrata su un singolo tomogramma ed è stata eseguita la segmentazione della mano per l'input di addestramento.
Viene mostrata la segmentazione 2D dall'unità dopo l'addestramento completo. Il rendering 3D delle regioni segmentate mostra membrana, microtubuli e filamenti di actina. Vengono mostrati i neuroni di ratto ippocampale DIV 5 della stessa sessione del tomogramma di allenamento.
La segmentazione 2D dall'unità senza ulteriore formazione nella pulizia rapida ha visualizzato membrana, microtubuli, actina e fiduciali. È stato anche visualizzato il rendering 3D delle regioni segmentate. È stato osservato anche un neurone di ratto ippocampale DIV 5 di una sessione precedente.
È stata eseguita anche la segmentazione 2D dall'unità con pulizia rapida e rendering 3D. Il neurone di ratto ippocampale DIV 5 è stato osservato anche su un diverso Titan Krios ad un diverso ingrandimento. La dimensione dei pixel è stata modificata con il vault di compressione del programma IMOD in modo che corrisponda al tomogramma di allenamento.
La segmentazione 2D dall'unità con pulizia rapida dimostra una solida inferenza tra i set di dati con un'adeguata pre-elaborazione ed è stato eseguito il rendering 3D della segmentazione. La pre-elaborazione dei dati in modo identico e la calibrazione degli istogrammi sono sicuramente i passaggi più importanti per una corretta inferenza della rete. Una volta che la posizione delle molecole è nota all'interno del tomogramma, è davvero banale all'interno di Dragonfly calcolare misurazioni quantitative o calcolare le coordinate e inserirle in una pipeline di media sub-tomogramma.
Stiamo solo iniziando a vedere gli effetti del deep learning sull'analisi delle immagini cryo-ET, ma questa è solo un'altra area in cui mostra una promessa davvero immensa.
Panoramica
Questo studio presenta un protocollo dettagliato per l'addestramento di una rete neurale U-Net multi-slice per eseguire la segmentazione multi-classe di tomogrammi crio-elettronici. Il metodo prevede l'uso di una porzione di un tomogramma come input di addestramento e permette la segmentazione di nuovi tomogrammi per analisi successive come l'averaging di subtomogramma e il tracciamento dei filamenti.
Componenti principali dello studio
Area di ricerca
- Metodologie di apprendimento profondo nell'imaging biologico
- Segmentazione dei dati di tomografia crio-elettronica
- Tecniche computazionali per l'analisi biologica
Sfondo
- Le tecniche tradizionali di segmentazione delle immagini possono essere dispendiose in termini di tempo.
- Gli strumenti computazionali avanzati facilitano l'analisi efficiente dei dati.
- L'apprendimento profondo offre capacità migliorate per i compiti di segmentazione.
Metodi utilizzati
- U-Net multi-slice per l'addestramento della rete neurale
- Tomogrammi crio-elettronici come sistema biologico
- Software Dragonfly per l'importazione e l'elaborazione delle immagini
Risultati principali
- Segmentazione riuscita dei dati crio-ET utilizzando la rete addestrata
- Workflow semplificato per l'elaborazione e l'analisi delle immagini
- Addestramento efficace delle reti neurali per adattarsi a nuovi dati
Conclusioni
- Lo studio dimostra un approccio pratico per l'utilizzo dell'apprendimento profondo nell'analisi dei dati crio-ET.
- Questo metodo migliora l'efficienza della ricerca biologica che coinvolge dati di imaging complessi.
Domande frequenti
Executive Industry Relevance
Automated deep learning-based segmentation of cryo-electron tomograms addresses a critical bottleneck in structural biology and cell imaging, enabling high-throughput, quantitative analysis of complex cellular architectures. This workflow enhances predictive confidence in early discovery by providing robust, reproducible segmentation across multiple structures and datasets. Accelerated segmentation supports rapid hypothesis testing and data-driven decision-making at key inflection points in the discovery pipeline.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables rapid interrogation of cellular ultrastructure for mechanistic de-risking.
- Supports functional target validation by segmenting multiple subcellular features simultaneously.
- Facilitates portfolio triage by providing quantitative, reproducible structural data.
Screening & Assay Development
- Prepares validated, segmented tomograms for downstream image-based screening workflows.
- Standardizes segmentation outputs, improving reproducibility and scalability across projects.
- Enables reliable extraction of coordinates for subtomogram averaging and filament tracing.
Translational & Preclinical Research
- Aligns high-resolution structural data with disease-relevant cellular models when applicable.
- Supports continuity from discovery imaging to preclinical validation by enabling robust data integration.
- Reduces risk in translational research by providing quantitative, multi-structure segmentation outputs.
Pipeline & Workflow Integration
This segmentation workflow integrates from early discovery through lead identification, supporting both hypothesis-driven and data-driven research strategies.
- Discovery Biology: Accelerates hypothesis testing and pathway clarification by enabling rapid, multi-class segmentation of tomograms.
- Screening: Delivers standardized, quantitative segmentation outputs suitable for high-content screening and downstream analytics.
- Analytics: Provides robust measurements and coordinates for comparative analysis and subtomogram averaging.
- Translational Research: Facilitates integration of structural data into disease-relevant models when supported by the dataset.
- Enterprise Reuse: Offers a scalable, reusable segmentation capability adaptable to diverse cryo-ET datasets.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in structural biology workflows.
- Operational Value: Dramatically reduces segmentation time from days to under 30 minutes per tomogram.
- Strategic Value: Enables faster go/no-go decisions and improves capital efficiency by streamlining data analysis.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of structurally validated targets.
Implementation Considerations
- Requires expertise in cryo-ET imaging and familiarity with deep learning segmentation tools.
- Needs access to computational infrastructure and Dragonfly software for neural network training and inference.
- Demands standardized preprocessing and calibration across datasets for robust model inference.
- Adaptation may be needed for different cell types or imaging conditions.
- Segmentation accuracy depends on quality of training data and preprocessing consistency.
Biopharma FAQs
Chapters in this video
0:05
Introduction
0:45
Image Import and Preprocessing
2:45
Creating Training Data
5:13
Using the Segmentation Wizard for Iterative Training
6:52
Apply the Network
7:36
Segmentation Manipulation and Cleanup
8:16
Results: Analysis of the Tomogram of DIV 5 Hippocampal Rat Neuron
9:40
Conclusion
