Le pipeline décrit est conçu pour la segmentation des ensembles de données de microscopie électronique plus grands que les gigaoctets, afin d’extraire des morphologies de cellules entières. Une fois que les cellules sont reconstruites en 3D, un logiciel personnalisé conçu autour de besoins individuels peut être utilisé pour effectuer une analyse qualitative et quantitative directement en 3D, en utilisant également la réalité virtuelle pour surmonter l’occlusion de vue.
La section en série et l’imagerie à haute résolution subséquente du tissu biologique à l’aide de la microscopie électronique (EM) permettent la segmentation et la reconstruction de piles à haute résolution pour révéler des modèles ultrastructuraux qui n’ont pas pu être résolus à l’aide de la 2D Images. En effet, ce dernier pourrait conduire à une mauvaise interprétation des morphologies, comme dans le cas des mitochondries; l’utilisation de modèles 3D est donc de plus en plus courante et appliquée à la formulation d’hypothèses fonctionnelles basées sur la morphologie. À ce jour, l’utilisation de modèles 3D générés à partir de piles d’images lumineuses ou électroniques rend les évaluations qualitatives et visuelles, ainsi que la quantification, plus pratiques à effectuer directement en 3D. Comme ces modèles sont souvent extrêmement complexes, un environnement de réalité virtuelle est également important d’être mis en place pour surmonter l’occlusion et de tirer pleinement parti de la structure 3D. Ici, un guide étape par étape de la segmentation de l’image à la reconstruction et l’analyse est décrit en détail.
Le premier modèle proposé pour une configuration de microscopie électronique permettant une section de série automatisée et l’imagerie remonte à 19811; la diffusion de ces installations automatisées et améliorées pour imager de grands échantillons à l’aide d’EM a augmenté au cours des dix dernières années2,3, et les travaux présentant des reconstructions denses impressionnantes ou des morphologies complètes immédiatement suivi4, 5,6,7,8,9,10.
La production de grands ensembles de données est venue avec la nécessité d’améliorer les pipelines pour la segmentation de l’image. Les outils logiciels pour la segmentation manuelle des sections de série, tels que RECONSTRUCT et TrakEM211,12, ont été conçus pour la microscopie électronique de transmission (TEM). Comme l’ensemble du processus peut prendre énormément de temps, ces outils ne sont pas appropriés lorsqu’il s’agit de milliers de micrographes en série qui peuvent être générés automatiquement avec des techniques automatisées de section série EM (3DEM), telles que microscopie électronique à balayage par bloc-face (SBEM)3 ou microscopie électronique à balayage de faisceau d’ions focalisé (FIB-SEM)2. Pour cette raison, les scientifiques ont mis des efforts dans le développement d’outils semi-automatisés, ainsi que des outils entièrement automatisés, pour améliorer l’efficacité de segmentation. Des outils entièrement automatisés, basés sur l’apprentissage automatique13 ou des algorithmes de classification des pixels non formés à la fine pointe de la technologie14, sont améliorés pour être utilisés par une plus grande communauté; néanmoins, la segmentation est encore loin d’être entièrement fiable, et de nombreux travaux sont encore basés sur le travail manuel, qui est inefficace en termes de temps de segmentation, mais fournit toujours une fiabilité complète. Les outils semi-automatisés, tels que ilastik15, représentent un meilleur compromis, car ils fournissent une lecture immédiate de la segmentation qui peut être corrigée dans une certaine mesure, bien qu’elle ne fournisse pas un cadre de relecture réel, et peut être intégrée en utilisant TrakEM2 en parallèle16.
La segmentation à grande échelle est, à ce jour, principalement limitée aux connectomiques; par conséquent, les informaticiens sont plus intéressés à fournir des cadres pour les visualisations intégrées de grands ensembles de données annotées et d’analyser les modèles de connectivité déduits par la présence de contacts synaptiques17,18. Néanmoins, des reconstructions 3D précises peuvent être utilisées pour des analyses morphométriques quantitatives, plutôt que pour des évaluations qualitatives des structures 3D. Des outils comme NeuroMorph19,20 et l’analyse du glycogène10 ont été développés pour prendre des mesures sur les reconstructions 3D pour les longueurs, les surfaces et les volumes, et sur la distribution des points de nuage, complètement jetant la pile EM d’origine8,10. Les astrocytes représentent une étude de cas intéressante, parce que l’absence d’indices visuels ou de schémas structurels répétitifs donne aux chercheurs un indice sur la fonction des unités structurelles individuelles et, par conséquent, l’absence d’une ontologie adéquate des processus astrocytiques. 21, il est difficile de concevoir des outils analytiques. Une tentative récente a été Abstractocyte22, qui permet une exploration visuelle des processus astrocytiques et l’inférence des relations qualitatives entre les processus astrocytiques et les neurites.
Néanmoins, la commodité de l’imagerie des tissus sectionnés sous EM vient du fait que la quantité d’informations cachées dans des échantillons de cerveau intacts est énorme et l’interprétation des images d’une seule section peut surmonter ce problème. La densité des structures dans le cerveau est si élevée que les reconstructions 3D de quelques objets visibles à la fois rendraient impossible de les distinguer visuellement. Pour cette raison, nous avons récemment proposé l’utilisation de la réalité virtuelle (VR) comme méthode améliorée pour observer des structures complexes. Nous nous concentrons sur les astrocytes23 pour surmonter l’occlusion (qui est le blocage de la visibilité d’un objet d’intérêt avec un second, dans un espace 3D) et faciliter les évaluations qualitatives des reconstructions, y compris la relecture, ainsi que les quantifications des caractéristiques utilisant le nombre de points dans l’espace. Nous avons récemment combiné l’exploration visuelle VR avec l’utilisation de GLAM (modèle d’absorption de lactate dérivé du glycogène), une technique pour visualiser une carte de la probabilité de navette de lactate des neurites, en considérant les granules de glycogène comme des corps électroluminescents23; en particulier, nous avons utilisé la VR pour quantifier les pics de lumière produits par GLAM.
La méthode présentée ici est un guide utile étape par étape pour la segmentation et la reconstruction 3D d’un jeu de données EM à plusieurs échelles, qu’ils proviennent de techniques d’imagerie à haute résolution, comme FIB-SEM, ou d’autres techniques automatisées de sections et d’imagerie en série. FIB-SEM a l’avantage d’atteindre potentiellement l’isotropie parfaite dans la taille de voxel en coupant des sections aussi minces que 5 nm utilisant un faisceau focalisé d’ion, son FOV pourrait être limité à 15-20 m en raison des artefacts latéraux, qui sont probablement dus au dépôt du tissu coupé si le FO V dépasse cette valeur. De tels artefacts peuvent être évités en utilisant d’autres techniques, telles que SBEM, qui utilise un couteau en diamant pour couper des sections de série à l’intérieur de la chambre de microscope. Dans ce dernier cas, la résolution z peut être d’environ 20 nm au mieux (généralement, 50 nm), mais le FOV pourrait être plus grand, bien que la résolution de pixel devrait être compromise pour une vaste région d’intérêt. Une solution pour surmonter ces limitations (magnification vs FOV) est de diviser la région d’intérêt dans les tuiles et d’acquérir chacund e-toi à une résolution plus élevée. Nous avons montré ici les résultats d’un jeu de données sBEM (i) dans les résultats représentatifs et d’un jeu de données de pile FIB-SEM (ii) dans les résultats représentatifs.
Alors que la génération de jeux de données de plus en plus grands est de plus en plus courante, les efforts visant à créer des outils de classification des pixels et de segmentation automatisée de l’image se multiplient; Néanmoins, à ce jour, aucun logiciel n’a prouvé une fiabilité comparable à celle de la relecture humaine, qui est donc encore nécessaire, peu importe le temps qu’il a. En général, les ensembles de données plus petits qui peuvent être réduits, comme dans le cas du jeu de données (ii), peuvent être densément reconstruits par un seul utilisateur expert en une semaine, y compris le temps de relecture.
Le protocole présenté ici implique l’utilisation de trois logiciels en particulier: Fidji (version 2.0.0-rc-65/1.65b), ilastik (version 1.3.2 rc2), et Blender (2.79), qui sont tous des programmes open-source et multi-plateforme et téléchargeables gratuitement. Fidji est une version de ImageJ, alimenté par des plugins pour l’analyse d’image biologique. Il a une architecture logicielle robuste et est suggéré car il est une plate-forme commune pour les scientifiques de la vie et comprend TrakEM2, l’un des premiers et les plus largement utilisés plugins pour la segmentation de l’image. Un problème rencontré par de nombreux utilisateurs ces derniers temps est la transition de Java 6 à Java 8, qui crée des problèmes de compatibilité; par conséquent, nous suggérons de s’abstenir de mettre à jour Java 8, si possible, pour permettre aux Fidji de fonctionner correctement. ilastik est un logiciel puissant fournissant un certain nombre de cadres pour la classification des pixels, chacun documenté et expliqué sur leur site Web. Le module de sculpture utilisé pour la segmentation semi-automatisée des piles EM est pratique car il permet aux scientifiques de réduire le temps passé sur le travail manuel de mois en jours pour un utilisateur expérimenté, comme en un seul clic un neurite entier peut être segmenté en quelques secondes. L’étape de prétraitement est très intense d’un point de vue matériel, et de très grands ensembles de données, comme la pile SBEM présentée ici, qui était de 26 Go, nécessitent des stratégies particulières pour s’intégrer dans la mémoire, étant donné que l’on achèterait un ensemble de données volumineux parce que ne peut pas domaine de vision et de résolution. Par conséquent, l’échantillonnage vers le bas pourrait ne pas être une solution appropriée dans ce cas. La dernière version du logiciel peut faire le prétraitement en quelques heures avec un poste de travail Linux puissant, mais la segmentation prendrait quelques minutes, et le défilement à travers la pile serait encore relativement lent. Nous utilisons toujours cette méthode pour une première segmentation approximative, et la relisons à l’aide de TrakEM2. Enfin, Blender est un logiciel de modélisation 3D, avec un puissant moteur de rendu 3D, qui peut être personnalisé avec des scripts python qui peuvent être intégrés dans l’interface graphique principale comme add-ons, tels que NeuroMorph et l’analyse du glycogène. La flexibilité de ce logiciel vient avec l’inconvénient que, contrairement à Fidji, par exemple, il n’est pas conçu pour la visualisation en ligne de grands jeux de données; par conséquent, la visualisation et la navigation à travers de grands maillage (dépassant 1 Go) peuvent être lents et peu efficaces. Pour cette raison, il est toujours conseillé de choisir des techniques qui réduisent la complexité des mailles, mais attention à ne pas perturber la morphologie originale de la structure d’intérêt. La fonction de remesh est pratique et est une fonctionnalité intégrée de l’outil d’importation de lots NeuroMorph. Un problème avec cette fonction est que, selon le nombre de vertices du maillage d’origine, la valeur de profondeur octree, qui est liée à la résolution finale, doit être modifiée en conséquence. Les petits objets peuvent être remeshed avec une petite profondeur d’octree (par exemple 4), mais la même valeur pourrait perturber la morphologie des objets plus grands, qui a besoin de plus grandes valeurs (6 au mieux, à 8 ou même 9 pour un maillage très grand, comme une cellule pleine). Il est conseillé de rendre ce processus itératif et de tester les différentes profondeurs d’octree si la taille de l’objet n’est pas claire.
Comme mentionné précédemment, un aspect qui doit être pris en compte est le pouvoir de calcul à consacrer à la reconstruction et l’analyse, liés au logiciel qui est utilisé. Toutes les opérations présentées dans les résultats représentatifs de ce manuscrit ont été obtenues à l’aide d’un MacPro, équipé d’une carte graphique AMD FirePro D500 Graphics, de 64 Go de RAM et d’un processeur Intel Xeon E5 avec 8 cœurs. Fidji dispose d’une bonne architecture logicielle pour le traitement de grands jeux de données; par conséquent, il est recommandé d’utiliser un ordinateur portable avec une bonne performance matérielle, comme un MacBook Pro avec un processeur Intel i7 de 2,5 GHz et 16 Go de RAM. le logiciel ilastik est plus exigeant en termes de ressources matérielles, en particulier pendant l’étape de prétraitement. Bien que downsampling la pile d’image est une bonne astuce pour limiter les demandes matérielles du logiciel et permet à l’utilisateur de traiter une pile avec un ordinateur portable (généralement si elle est inférieure à 500 pixels en x,y,z), nous suggérons l’utilisation d’un haut de gamme ordinateur pour exécuter ce logiciel en douceur. Nous utilisons un poste de travail équipé d’un processeur Intel Xeon Gold 6150 avec 16 cœurs et 500 Go de RAM.
Lorsqu’ils reçoivent une reconstruction 3D précise, les scientifiques peuvent jeter les micrographes originaux et travailler directement sur les modèles 3D pour extraire des données morphométriques utiles pour comparer les cellules du même type, ainsi que différents types de cellules, et profiter de la VR pour évaluations qualitatives et quantitatives des morphologies. En particulier, l’utilisation de ce dernier s’est avérée bénéfique dans le cas d’analyses de morphologies denses ou complexes qui présentent l’occlusion visuelle (c.-à-d. le blocage de la vue d’un objet d’intérêt dans l’espace 3D par un second placé entre l’observateur et le fi rst objet), ce qui rend difficile de les représenter et de les analyser en 3D. Dans l’exemple présenté, un utilisateur expérimenté a pris environ 4 heures non consécutives pour observer les jeux de données et compter les objets. Le temps consacré à l’analyse de la VR peut varier car des aspects comme la maladie de VR (qui peut, dans une certaine mesure, être lié au mal de voiture) peuvent avoir un impact négatif sur l’expérience d’utilisateur ; dans ce cas, l’utilisateur peut préférer d’autres outils d’analyse et limiter son temps consacré à la VR.
Enfin, toutes ces étapes peuvent être appliquées à d’autres techniques de microscopie et non-EM qui génèrent des piles d’images. EM génère des images qui sont, en général, difficiles à manipuler et à segmenter, par rapport, par exemple, la microscopie à fluorescence, où quelque chose de comparable à un masque binaire (signal par rapport à un fond noir), qui en principe peut être facilement rendu en 3D pour traitement ultérieur, doit souvent être traitée.
The authors have nothing to disclose.
Ce travail a été soutenu par la subvention de recherche compétitive de l’Université des sciences et de la technologie (KAUST) du Roi Abdullah (KAUST) à P.J.M.
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |