Segmentation basée sur l’apprentissage profond des tomogrammes cryoélectroniques

Ce qui est le plus excitant à propos de notre protocole, c’est qu’il permet à n’importe quel laboratoire d’être opérationnel en utilisant ces protocoles d’apprentissage profond pour segmenter de grandes quantités de données cryo-ET. Le principal avantage de notre flux de travail est que Dragonfly fournit un environnement de calcul de qualité professionnelle pour la formation de réseaux neuronaux multi-classes pour la segmentation, ce qui peut vraiment accélérer considérablement votre processus de segmentation. La segmentation des images prend du temps à apprendre, alors assurez-vous de tester les outils et d’apprendre les liens clés pour vraiment aider à rationaliser votre flux de travail au fil du temps.

Après avoir configuré le logiciel, procédez à l’importation d’images en accédant à Fichier et en sélectionnant Importer des fichiers image. Cliquez ensuite sur Ajouter, accédez au fichier image, cliquez sur Ouvrir, puis sélectionnez Suivant, puis Terminer. Créez une échelle d’intensité personnalisée en accédant à Utilitaires et en sélectionnant Dimension Unit Manager.

Cliquez sur plus en bas à gauche pour créer une nouvelle unité de dimension. Choisissez une caractéristique de haute et de faible intensité dans tous les tomogrammes d’intérêt. Donnez à l’unité un nom et une abréviation et enregistrez l’unité de dimension personnalisée.

Pour calibrer les images sur l’échelle d’intensité personnalisée, cliquez avec le bouton droit sur le jeu de données dans la colonne Propriétés sur le côté droit de l’écran et sélectionnez Calibrer l’échelle d’intensité. Ensuite, accédez à l’onglet principal sur le côté gauche de l’écran et faites défiler jusqu’à la section de la sonde. À l’aide de l’outil de sonde circulaire avec un diamètre approprié, cliquez à quelques endroits dans la région d’arrière-plan du tomogramme et enregistrez le nombre moyen dans la colonne d’intensité brute.

Répétez l’opération pour les marqueurs fiduciaires et cliquez sur Calibrer. Si nécessaire, réglez le contraste pour rendre les structures à nouveau visibles à l’aide de l’outil Zone dans la section Nivellement de la fenêtre de l’onglet principal. Sur le côté gauche de l’onglet principal, faites défiler jusqu’au panneau de traitement d’image.

Cliquez sur Avancé et attendez qu’une nouvelle fenêtre s’ouvre. Dans le panneau Propriétés, sélectionnez l’ensemble de données à filtrer et rendez-le visible en cliquant sur l’icône en forme d’œil située à gauche de l’ensemble de données. Ensuite, utilisez le menu déroulant du panneau Opérations pour sélectionner l’égalisation de l’histogramme pour la première opération.

Sélectionnez Ajouter une opération, cliquez sur Gaussienne et définissez la dimension du noyau en 3D. Ajoutez la troisième opération, puis sélectionnez Unsharp et laissez la sortie pour celle-ci. Appliquez l’égalisation à toutes les tranches et laissez le filtrage s’exécuter, puis fermez la fenêtre de traitement d’image pour revenir à l’interface principale.

Pour identifier la zone d’entraînement, accédez au panneau des propriétés des données en masquant d’abord l’ensemble de données non filtrées en cliquant sur l’icône en forme d’œil à gauche de celui-ci. Ensuite, affichez le jeu de données nouvellement filtré. À l’aide du jeu de données filtré, identifiez une sous-région du tomogramme qui contient toutes les caractéristiques d’intérêt.

Créez maintenant une boîte autour de la région d’intérêt en faisant défiler jusqu’à la catégorie Formes et en sélectionnant Créer une boîte sur le côté gauche de l’onglet principal. Sur le panneau à quatre vues, utilisez les différents plans 2D pour guider ou faire glisser les bords de la boîte afin de ne placer que la région d’intérêt dans toutes les dimensions. Dans la liste des données, sélectionnez la zone de la case et modifiez la couleur de la bordure pour faciliter l’affichage en cliquant sur le carré gris à côté du symbole de l’œil.

Pour créer un multi-ROI, sélectionnez l’onglet Segmentation, cliquez sur Nouveau sur le côté gauche, puis cochez Créer en tant que multi-ROI. Assurez-vous que le nombre de classes correspond au nombre d’entités d’intérêt plus une classe d’arrière-plan. Nommez les données d’apprentissage multi-ROI et assurez-vous que la géométrie correspond à l’ensemble de données avant de cliquer sur OK. Ensuite, faites défiler les données jusqu’à ce que les limites de la région encadrée.

Sélectionnez le Multi-ROI dans le menu Propriétés à droite. Double-cliquez sur le premier nom de classe vide dans le multi-ROI pour le nommer. Pour peindre avec le pinceau 2D, faites défiler jusqu’à Outils 2D dans l’onglet Segmentation à gauche et sélectionnez un pinceau circulaire.

Sélectionnez ensuite Adaptive Gaussian ou Local OTSU dans le menu déroulant, peignez en maintenant la touche Contrôle gauche plus clic enfoncée et effacez en maintenant la touche Maj gauche plus clic. Une fois que toutes les structures ont été étiquetées, cliquez avec le bouton droit de la souris sur la classe d’arrière-plan dans le multi-ROI et sélectionnez Ajouter tous les voxels non étiquetés à la classe. Ensuite, créez un nouveau retour sur investissement à classe unique nommé Mask.

Assurez-vous que la géométrie est définie sur l’ensemble de données filtrées, puis cliquez sur Appliquer. Dans l’onglet Propriétés à droite, cliquez avec le bouton droit sur la case, sélectionnez Ajouter au retour sur investissement et ajoutez-le au retour sur investissement du masque. Pour couper les données d’entraînement à l’aide du masque, allez dans l’onglet Propriétés et sélectionnez à la fois les données d’entraînement, le multi-ROI et le ROI du masque en maintenant le contrôle enfoncé et en cliquant sur chacun.

Ensuite, cliquez sur Intersection sous la liste des propriétés de données dans la section Opérations booléennes. Nommez le nouveau jeu de données en tant qu’entrée d’apprentissage ajustée et assurez-vous que la géométrie correspond au jeu de données filtré avant de cliquer sur OK. Importez les données d’apprentissage dans l’Assistant Segmentation en cliquant avec le bouton droit sur le jeu de données filtré dans l’onglet Propriétés et en sélectionnant l’option Assistant Segmentation. Une fois qu’une nouvelle fenêtre s’ouvre, recherchez l’onglet Entrée sur le côté droit.

Cliquez sur Importer des images à partir d’un multi-retour sur investissement et sélectionnez l’entrée Formation rognée. Pour générer un nouveau modèle de réseau neuronal, cliquez sur le bouton plus sur le côté droit dans l’onglet du modèle. Sélectionnez U Net dans la liste, sélectionnez 2,5 D et cinq tranches pour dimension d’entrée, puis cliquez sur Générer.

Pour former le réseau, cliquez sur Train en bas à droite de la fenêtre Seg Wiz. Une fois la formation de l’unité terminée, utilisez le réseau entraîné pour segmenter de nouvelles trames, créer une nouvelle trame, puis cliquer sur Prédire. Cliquez ensuite sur la flèche vers le haut en haut à droite de l’image prévue pour transférer la segmentation à l’image réelle.

Pour corriger la prédiction, cliquez sur deux classes en maintenant la touche Contrôle enfoncée pour modifier les pixels segmentés de l’une à l’autre. Sélectionnez les deux classes et peignez avec le pinceau pour peindre uniquement les pixels appartenant à l’une ou l’autre classe. Corrigez la segmentation dans au moins cinq nouvelles images.

Pour une formation itérative, cliquez à nouveau sur le bouton Train et autorisez le réseau à s’entraîner davantage pour 30 à 40 autres épopées. À ce stade, arrêtez la formation et commencez une autre série d’entraînement. Lorsque vous êtes satisfait des performances du réseau, publiez le réseau en quittant l’Assistant Segmentation.

Une boîte de dialogue apparaît vous demandant quels modèles publier. Sélectionnez le réseau réussi, nommez-le, puis publiez-le pour le rendre disponible en dehors de l’Assistant Segmentation. Tout d’abord, sélectionnez l’ensemble de données filtrées dans le panneau Propriétés à appliquer au tomogramme d’entraînement.

Dans le panneau Segmentation sur la gauche, faites défiler jusqu’à la section segment avec IA. Assurez-vous que le jeu de données correct est sélectionné. Choisissez le modèle publié récemment dans le menu déroulant, puis cliquez sur Segment, puis sur Toutes les tranches.

Pour appliquer à un ensemble de données d’inférence, importez le nouveau tomogramme et prétraitez-le comme illustré précédemment. Dans le panneau de segmentation, accédez à la section segment avec IA. Assurez-vous que le tomogramme nouvellement filtré est l’ensemble de données sélectionné, choisissez le modèle précédemment formé, cliquez sur le segment, puis sélectionnez Toutes les tranches.

Nettoyez rapidement le bruit en choisissant d’abord l’une des classes qui ont segmenté le bruit et la caractéristique d’intérêt. Ensuite, cliquez avec le bouton droit sur Îlots de processus, sélectionnez Supprimé par le nombre de voxels, puis cliquez sur Sélectionner une taille de voxel. Commencez par de petits comptes et augmentez progressivement le nombre pour éliminer la majeure partie du bruit.

Pour la correction de segmentation, cliquez sur deux classes tout en maintenant la touche Contrôle enfoncée pour peindre les pixels appartenant uniquement à ces classes. Ctrl-clic plus glisser avec les outils de segmentation pour changer les pixels de la deuxième classe à la première et Maj-clic plus glisser pour accomplir le contraire. Une unité à cinq tranches a été formée sur un seul tomogramme et une segmentation de la main a été effectuée pour l’entrée de formation.

La segmentation 2D de l’unité après une formation complète est affichée. Le rendu 3D des régions segmentées montre la membrane, les microtubules et les filaments d’actine. DIV 5 neurones hippocampiques de rat de la même session que le tomogramme d’entraînement sont montrés.

Segmentation 2D de l’unité sans formation supplémentaire en nettoyage rapide a montré la membrane, les microtubules, l’actine et les fiduciaires. Le rendu 3D des régions segmentées a également été visualisé. Le neurone de rat hippocampique DIV 5 d’une session antérieure a également été observé.

Une segmentation 2D de l’unité avec un nettoyage rapide et un rendu 3D a également été effectuée. Le neurone de rat hippocampique DIV 5 a également été observé sur un Titan Krios différent à un grossissement différent. La taille des pixels a été modifiée avec la voûte de compression du programme IMOD pour correspondre au tomogramme d’entraînement.

La segmentation 2D de l’unité avec un nettoyage rapide démontre une inférence robuste entre les ensembles de données avec un prétraitement approprié, et un rendu 3D de la segmentation a été effectué. Le prétraitement des données de manière identique et l’étalonnage des histogrammes sont certainement les étapes les plus importantes pour une inférence réseau correcte. Une fois que l’emplacement des molécules est connu dans le tomogramme, il est vraiment trivial dans Dragonfly de calculer des mesures quantitatives ou de calculer des coordonnées et de les introduire dans un pipeline de moyenne sous-tomogramme.

Nous commençons seulement à voir les effets de l’apprentissage profond sur l’analyse d’images cryo-ET, mais ce n’est qu’un domaine de plus où il est vraiment extrêmement prometteur.