Segmentazione basata sul deep learning dei tomogrammi crioelettronici

La cosa più interessante del nostro protocollo è che consente a qualsiasi laboratorio di essere operativo utilizzando questi protocolli di deep learning per segmentare grandi quantità di dati crio-ET. Il vantaggio principale del nostro flusso di lavoro è che Dragonfly fornisce un ambiente computazionale di livello professionale per l'addestramento di reti neurali multiclasse per la segmentazione e che può davvero accelerare notevolmente il processo di segmentazione. L'apprendimento della segmentazione delle immagini richiede tempo, quindi assicurati di testare gli strumenti e apprendere le associazioni chiave per semplificare davvero il flusso di lavoro nel tempo.

Dopo aver configurato il software, procedere con l'importazione dell'immagine andando su File e selezionando Importa file immagine. Quindi fare clic su Aggiungi, passare al file di immagine, fare clic su Apri e selezionare Avanti, quindi Fine. Create una scala di intensità personalizzata accedendo a Utilità (Utilities) e selezionando Gestione unità quota.

Fate clic su più (plus) in basso a sinistra per creare una nuova unità di quota. Scegli una caratteristica ad alta e bassa intensità in tutti i tomogrammi di interesse. Assegnare all'unità un nome e un'abbreviazione e salvare l'unità di dimensione personalizzata.

Per calibrare le immagini in base alla scala di intensità personalizzata, fare clic con il pulsante destro del mouse sul set di dati nella colonna Proprietà sul lato destro dello schermo e selezionare Calibra scala di intensità. Quindi, vai alla scheda principale sul lato sinistro dello schermo e scorri verso il basso fino alla sezione della sonda. Utilizzando lo strumento sonda circolare con un diametro appropriato, fare clic su alcuni punti nella regione di sfondo del tomogramma e registrare il numero medio nella colonna di intensità grezza.

Ripetere l'operazione per i marcatori fiduciali e fare clic su Calibra (Calibrate). Se necessario, regolate il contrasto per rendere nuovamente visibili le strutture con lo strumento area nella sezione di livellamento della finestra della scheda principale. Sul lato sinistro della scheda principale, scorri verso il basso fino al pannello di elaborazione delle immagini.

Fare clic su Avanzate e attendere l'apertura di una nuova finestra. Dal pannello Proprietà, selezionare il set di dati da filtrare e renderlo visibile facendo clic sull'icona a forma di occhio a sinistra del set di dati. Quindi, utilizzare il menu a discesa dal pannello delle operazioni per selezionare l'equalizzazione dell'istogramma per la prima operazione.

Selezionare Aggiungi operazione, fare clic su Gaussian e modificare la dimensione del kernel in 3D. Aggiungete la terza operazione, quindi selezionate Unsharp e lasciate l'output per questa. Applicare l'equalizzazione a tutte le sezioni e lasciare che il filtro venga eseguito, quindi chiudere la finestra di elaborazione delle immagini per tornare all'interfaccia principale.

Per identificare l'area di addestramento, accedere al pannello delle proprietà dei dati nascondendo prima il set di dati non filtrato facendo clic sull'icona a forma di occhio a sinistra di esso. Quindi, mostra il set di dati appena filtrato. Utilizzando il dataset filtrato, identificare una sottoregione del tomogramma che contenga tutte le caratteristiche di interesse.

Ora crea una casella intorno all'area di interesse scorrendo verso il basso fino alla categoria Forme e selezionando Crea una casella sul lato sinistro della scheda principale. Nel pannello a quattro viste, utilizzate i diversi piani 2D per guidare o trascinare i bordi della casella per racchiudere solo la regione di interesse in tutte le dimensioni. Nell'elenco dei dati, selezionare l'area della casella e modificare il colore del bordo per una visualizzazione più semplice facendo clic sul quadrato grigio accanto al simbolo dell'occhio.

Per creare un multi-ROI, seleziona la scheda Segmentazione, fai clic su Nuovo sul lato sinistro e seleziona Crea come multi-ROI. Assicurarsi che il numero di classi corrisponda al numero di feature di interesse più una classe di background. Assegnare un nome ai dati di training multi-ROI e assicurarsi che la geometria corrisponda al set di dati prima di fare clic su OK. Quindi, scorrere i dati fino a raggiungere i limiti dell'area riquadrata.

Seleziona il Multi-ROI nel menu Proprietà a destra. Fare doppio clic sul primo nome di classe vuota nel multi-ROI per assegnargli un nome. Per colorare con il pennello 2D, scorrere verso il basso fino a Strumenti 2D nella scheda Segmentazione a sinistra e selezionare un pennello circolare.

Quindi seleziona Gaussiana adattiva o OTSU locale dal menu a discesa, colora tenendo premuto il tasto sinistro del controllo più clic e cancella tenendo premuto il tasto Maiusc più clic. Una volta che tutte le strutture sono state etichettate, fai clic con il pulsante destro del mouse sulla classe di sfondo nel multi-ROI e seleziona Aggiungi tutti i voxel senza etichetta alla classe. Quindi, crea un nuovo ROI a classe singola denominato Mask.

Assicurarsi che la geometria sia impostata sul set di dati filtrati, quindi fare clic su Applica. Nella scheda Proprietà a destra, fai clic con il pulsante destro del mouse sulla casella, seleziona Aggiungi a ROI e aggiungilo al ROI della maschera. Per tagliare i dati di allenamento utilizzando la maschera, vai alla scheda Proprietà e seleziona sia i dati di allenamento, il multi-ROI e il ROI della maschera tenendo premuto il controllo e facendo clic su ciascuno.

Quindi, fare clic su Interseca sotto l'elenco delle proprietà dei dati nella sezione Operazioni booleane. Assegnare al nuovo dataset il nome di input di training tagliato e assicurarsi che la geometria corrisponda al dataset filtrato prima di fare clic su OK. Importare i dati di training nella Segmentazione guidata facendo clic con il pulsante destro del mouse sul set di dati filtrato nella scheda Proprietà e selezionando l'opzione Segmentazione guidata. Una volta aperta una nuova finestra, cerca la scheda Input sul lato destro.

Fare clic su Importa fotogrammi da un ROI multiplo e selezionare l'input Formazione tagliata. Per generare un nuovo modello di rete neurale, fare clic sul pulsante più sul lato destro nella scheda del modello. Selezionate Rete U dall'elenco, selezionate 2.5 D e cinque sezioni per la quota di input, quindi fate clic su Genera (Generate).

Per addestrare la rete, fare clic su Treno in basso a destra della finestra di Seg Wiz. Una volta completato l'addestramento dell'unità, utilizzare la rete addestrata per segmentare nuovi frame, creare un nuovo frame e fare clic su Prevedi. Quindi fai clic sulla freccia verso l'alto in alto a destra del fotogramma previsto per trasferire la segmentazione al fotogramma reale.

Per correggere la previsione, fate clic tenendo premuto il tasto Ctrl su due classi per modificare i pixel segmentati di una nell'altra. Selezionate entrambe le classi e colorate con il pennello per colorare solo i pixel appartenenti a una delle due classi. Correggete la segmentazione in almeno cinque nuovi fotogrammi.

Per l'addestramento iterativo, fai di nuovo clic sul pulsante Allena e consenti alla rete di allenarsi ulteriormente per altre 30-40 epiche. A questo punto, interrompi l'allenamento e inizia un altro ciclo di allenamento. Quando si è soddisfatti delle prestazioni della rete, pubblicarla uscendo dalla Segmentazione guidata.

Viene visualizzata una finestra di dialogo che chiede quali modelli pubblicare. Selezionare la rete riuscita, assegnarle un nome, quindi pubblicarla per rendere la rete disponibile per l'uso al di fuori della Segmentazione guidata. Innanzitutto, selezionate il set di dati filtrati nel pannello Proprietà da applicare al tomogramma di addestramento.

Nel pannello Segmentazione a sinistra, scorri verso il basso fino alla sezione Segmento con AI. Assicurarsi che sia selezionato il set di dati corretto. Scegli il modello pubblicato di recente nel menu a discesa, quindi fai clic su Segmento, quindi su Tutte le fette.

Per applicare a un set di dati di inferenza, importare il nuovo tomogramma e preelaborarlo come illustrato in precedenza. Nel pannello di segmentazione, vai alla sezione Segmento con AI. Assicuratevi che il tomogramma appena filtrato sia il set di dati selezionato, scegliete il modello sottoposto a training precedente, fate clic sul segmento e selezionate Tutte le sezioni.

Ripulisci rapidamente il rumore scegliendo prima una delle classi che hanno il rumore segmentato e la caratteristica di interesse. Quindi, fare clic con il pulsante destro del mouse su Process Islands, selezionare Removed by Voxel Count, quindi fare clic su Select a Voxel Size. Inizia con piccoli conteggi e aumenta gradualmente il conteggio per rimuovere la maggior parte del rumore.

Per la correzione della segmentazione, fate clic tenendo premuto il tasto Ctrl su due classi per colorare i pixel appartenenti solo a tali classi. Fai clic tenendo premuto il tasto Ctrl e trascina con gli strumenti di segmentazione per cambiare i pixel della seconda classe nella prima e fai clic tenendo premuto Maiusc più trascina per ottenere il contrario. Un'unità a cinque sezioni è stata addestrata su un singolo tomogramma ed è stata eseguita la segmentazione della mano per l'input di addestramento.

Viene mostrata la segmentazione 2D dall'unità dopo l'addestramento completo. Il rendering 3D delle regioni segmentate mostra membrana, microtubuli e filamenti di actina. Vengono mostrati i neuroni di ratto ippocampale DIV 5 della stessa sessione del tomogramma di allenamento.

La segmentazione 2D dall'unità senza ulteriore formazione nella pulizia rapida ha visualizzato membrana, microtubuli, actina e fiduciali. È stato anche visualizzato il rendering 3D delle regioni segmentate. È stato osservato anche un neurone di ratto ippocampale DIV 5 di una sessione precedente.

È stata eseguita anche la segmentazione 2D dall'unità con pulizia rapida e rendering 3D. Il neurone di ratto ippocampale DIV 5 è stato osservato anche su un diverso Titan Krios ad un diverso ingrandimento. La dimensione dei pixel è stata modificata con il vault di compressione del programma IMOD in modo che corrisponda al tomogramma di allenamento.

La segmentazione 2D dall'unità con pulizia rapida dimostra una solida inferenza tra i set di dati con un'adeguata pre-elaborazione ed è stato eseguito il rendering 3D della segmentazione. La pre-elaborazione dei dati in modo identico e la calibrazione degli istogrammi sono sicuramente i passaggi più importanti per una corretta inferenza della rete. Una volta che la posizione delle molecole è nota all'interno del tomogramma, è davvero banale all'interno di Dragonfly calcolare misurazioni quantitative o calcolare le coordinate e inserirle in una pipeline di media sub-tomogramma.

Stiamo solo iniziando a vedere gli effetti del deep learning sull'analisi delle immagini cryo-ET, ma questa è solo un'altra area in cui mostra una promessa davvero immensa.