Conception et exploitation d'une installation interne de cryo-microscopie électronique avec infrastructure informatique et pipelines de traitement de données en temps réel

Résumé

Ce protocole fournit un cadre pratique pour concevoir et exploiter l'infrastructure informatique d'un laboratoire interne de microscopie électronique cryogénique (cryo-EM). Il aborde la planification du laboratoire, l'architecture du réseau, le stockage, le calcul GPU, l'accès à distance et le traitement en temps réel des données, permettant une gestion efficace de jeux de données de plusieurs téraoctets tout en assurant des opérations de cryo-EM évolutives, durables et à haute performance.

Résumé

La microscopie électronique cryogénique (cryo-EM) est devenue une méthode prédominante pour la détermination de haute résolution de la structure de macromolécules biologiques. Alors que le nombre de plateformes institutionnelles de cryo-EM augmente dans le monde entier, un défi persistant émerge : l'infrastructure informatique nécessaire pour soutenir ces plateformes fait régulièrement l'objet d'une planification insuffisante. Les instruments modernes de cryo-EM couplés à des détecteurs d'électrons directs (DED) génèrent entre 2 et 5 téraoctets (To) de données brutes par jour, et une plateforme mutualisée par 20 utilisateurs peut accumuler environ 2 pétaoctets (Po) de données au cours d'une seule année de fonctionnement. Le traitement de ces données exige des nœuds de calcul dédiés dotés de GPU, un réseau interne haut débit et des stratégies solides d'archivage à long terme, le tout devant être mis en place avant même le début de la collecte de données. Ce protocole présente un cadre intégré pour la conception informatique et computationnelle d'une plateforme interne de cryo-EM. Nous abordons les exigences liées aux locaux (conception des salles, alimentation électrique, refroidissement et isolation aux vibrations), le choix du matériel (microscopes, DED et instruments auxiliaires), ainsi que l'ensemble de la pile computationnelle : configuration des commutateurs réseau, sélection et dimensionnement des serveurs de stockage, approvisionnement des nœuds de calcul GPU et architecture d'accès à distance. Nous fournissons ensuite un protocole détaillé pour la mise en œuvre de pipelines de traitement de données en continu — couvrant la correction du mouvement, l'estimation de la fonction de transfert de contraste (CTF), le choix des particules et la classification 2D en temps réel pendant la collecte des données — en utilisant des outils standard dans le domaine. Les stratégies de transfert de données pour les utilisateurs externes sont également abordées. Ce guide comble une lacune essentielle dans la littérature et permettra aux chercheurs et aux gestionnaires de construire des plateformes de cryo-EM prêtes au niveau computationnel dès le premier jour.

Introduction

La révolution de la résolution en microscopie électronique cryogénique a transformé la biologie structurale, permettant une visualisation à résolution atomique des protéines, des acides nucléiques et des complexes macromoléculaires sans nécessiter de cristallisation^1,2. Trois progrès techniques ont permis cette transformation : le développement de détecteurs d'électrons directs (DED) à haut taux de trames, les améliorations apportées à l'optique électronique et à la mécanique des microscopes, ainsi que l'optimisation de logiciels de traitement d'images accélérés par GPU^3,4,5,6. Ensemble, ces avancées ont fait de la cryo-EM la méthode de choix pour une communauté croissante de biologistes structuraux.

La demande d'accès à la microscopie électronique cryogénique a suscité des investissements importants tant dans de grands centres nationaux que dans des installations institutionnelles plus petites. Les centres nationaux — tels que le NCCAT, le S2C2, le PNCC et le MCCET aux États-Unis, ainsi que l'eBIC, le NeCEN et le SciLifeLab en Europe^3,5,6 — offrent un accès aux instruments les plus performants pour les projets approuvés. Les installations internes complètent ces ressources en soutenant des recherches itératives et spécifiques à chaque projet, avec des délais d'exécution plus courts et une interaction plus étroite entre utilisateurs et personnel. Toutefois, la mise en place d'une installation interne opérationnelle nécessite bien plus que l'achat d'un microscope : l'infrastructure informatique d'accompagnement est tout aussi essentielle, et son insuffisance constitue l'une des principales causes d'échec opérationnel dans les nouvelles installations⁶.

Une seule session de cryo-ME haut de gamme peut générer de 2 à 5 téraoctets de données brutes sous forme de films en 24 heures. Avec plusieurs microscopes et utilisateurs, la charge de données atteint rapidement l'échelle du pétaoctet. Le traitement de ces données nécessite des pipelines accélérés par GPU qui doivent fonctionner simultanément avec la collecte des données^7,8. Des retards dans le prétraitement entraînent un retour différé sur la qualité des données et un gaspillage du temps d'instrument. Malgré ces contraintes, la plupart des guides publiés sur la gestion des installations de cryo-ME accordent peu d'attention aux composants informatiques, et aucun ne fournit de protocole opérationnel étape par étape pour configurer et valider une infrastructure complète de gestion des données.

Ce protocole comble cette lacune. Nous décrivons les exigences physiques et techniques relatives à la construction d'une installation, les critères de sélection des microscopes et des détecteurs, et — plus important encore — la conception et la mise en œuvre de l'infrastructure informatique qui rend une installation de cryo-ME viable sur le plan opérationnel⁶. Une attention particulière est portée au traitement des données en temps réel : le prétraitement automatisé et simultané des données pendant leur acquisition, qui permet un contrôle qualité en temps réel, oriente les décisions d'acquisition et réduit considérablement le délai de traitement après la session^9,10,11. En suivant ce protocole, les concepteurs d'installations seront en mesure de construire une opération complète et intégrée de cryo-ME, capable de desservir de manière durable et efficace une vaste communauté scientifique.

Protocole

Les détails concernant l'équipement, les logiciels et les matériaux utilisés dans ce protocole sont fournis dans le Tableau des matériaux.

1. Conception des installations physiques, personnel et planification des infrastructures

1. Réalisez une évaluation du site. Sélectionnez un emplacement offrant : un sol isolé des vibrations (niveaux de vibration ambiante idéalement < 1 µm/s RMS à 1–100 Hz) ; une stabilité du champ magnétique (< 1 mG/m de gradient spatial et < 0,1 mG/m de variation temporelle pour les instruments de 300 kV) ; une température ambiante stable (18–22 °C avec des fluctuations < 0,5 °C) ; un contrôle de l'humidité (40–60 % HR) ; et un faible bruit acoustique (< 50 dB). Consultez les exigences du fabricant du microscope concernant l'installation dès les premières étapes de la planification.
   NOTE : La rénovation d'une pièce existante peut coûter autant que la construction neuve. En règle générale, prévoyez environ 20 % du prix d'achat du microscope pour la préparation de la salle.
2. Concevez l'agencement des locaux en assurant une séparation spatiale claire entre les zones fonctionnelles : (a) la ou les salles de microscopie pour les microscopes électroniques en transmission cryogéniques (cryo-MET) ; (b) une antichambre dédiée à la préparation des échantillons, pour la manipulation et le stockage des grilles ; (c) une salle des contrôleurs abritant les groupes frigorifiques, les onduleurs (UPS) et les systèmes de refroidissement du microscope ; et (d) une salle serveur ou un centre de données distinct pour l'infrastructure de stockage et de calcul.
   NOTE : Maintenez la température de la salle des contrôleurs constamment inférieure à 26 °C et assurez une alimentation électrique de secours et un système de refroidissement dédiés. Les écarts de température dans cette salle sont une cause fréquente d'indisponibilité du microscope.
3. Planifiez l'infrastructure électrique. Installez des circuits électriques triphasés dédiés pour les cryo-MET haut de gamme. Raccordez tous les microscopes, caméras et équipements serveurs à l'infrastructure électrique protégée désignée. Coordonnez-vous avec l'équipe technique de l'établissement pour prévoir un groupe électrogène d'urgence capable de maintenir le fonctionnement du microscope et la circulation de l'eau de refroidissement en cas de panne de courant.
   NOTE : Plusieurs instruments d'une plateforme cryo-MET nécessitent plus d'une journée pour un redémarrage sécurisé. Une coupure de courant imprévue peut endommager des cartes électroniques sensibles et entraîner la perte de sessions actives de collecte de données.
4. Installez les systèmes d'eau de refroidissement pour le microscope électronique et le matériel associé. Mettez en place un circuit d'eau de refroidissement de secours avec basculement automatique. Surveillez en continu le débit, la température et la conductivité de l'eau à l'aide du système de surveillance intégré du microscope ou d'un réseau de capteurs dédié.
5. Installez des câbles de fibre optique reliant la ou les salles de microscopie à la salle serveur pendant la construction ou la rénovation. Prévoyez au minimum de la fibre multimode OM4 ou monomode OS2, avec un excès de longueur suffisant et des panneaux de brassage étiquetés aux deux extrémités.
   NOTE : L'installation préalable de la fibre optique est nettement moins coûteuse que son ajout ultérieur.
6. Désignez des opérateurs spécialisés ou des scientifiques de plateforme chargés de l'entretien des instruments, de la formation des utilisateurs, de la planification, de l'optimisation des échantillons et du soutien à l'acquisition de données. Désignez du personnel informatique dédié pour gérer l'infrastructure, les performances du réseau, la cybersécurité, la sauvegarde des données, le déploiement des logiciels, les ressources de calcul GPU et l'accès à distance des utilisateurs.
7. Déterminez les besoins en personnel en fonction du niveau de soutien offert aux utilisateurs et de la complexité de l'infrastructure informatique. Dans les petites plateformes, comme la plateforme de cryo-MET biomoléculaire de l'UCSC, ces responsabilités peuvent être assumées par un gestionnaire de plateforme possédant une expertise en informatique ou par les services informatiques centraux de l'institution ; toutefois, à mesure que le nombre de microscopes, d'utilisateurs et de sessions annuelles de collecte de données augmente, le recours à du personnel spécialisé devient de plus en plus nécessaire.
8. Assurez un soutien informatique dédié pour les plateformes exploitant plusieurs cryo-MET afin de garantir une acquisition de données ininterrompue, une gestion efficace des données et des ressources informatiques évolutives. Investissez tôt dans une infrastructure informatique robuste et dans du personnel qualifié afin de minimiser les temps d'arrêt opérationnels, de simplifier les évolutions futures et de mettre en place un cadre durable capable de soutenir des communautés d'utilisateurs en croissance ainsi que des flux de travail cryo-MET de plus en plus gourmands en données.

2. Sélection du microscope et du détecteur

1. Définissez la mission scientifique principale de l'installation avant de choisir un microscope. Tenez compte : (a) de savoir si le flux de travail principal consistera en une analyse de particules individuelles (SPA), en tomographie électronique cryogénique (cryo-ET), en microdiffraction électronique (microED), ou en une combinaison de ces techniques ; (b) de la taille prévue de la base d'utilisateurs et de la diversité des projets ; (c) des contraintes budgétaires liées à l'acquisition ainsi qu'aux contrats de maintenance continue.
2. Évaluez les plates-formes cryo-TME disponibles en fonction des applications prévues. Pour l'analyse de particules individuelles (SPA) à haute résolution et la moyenne de sous-tomogrammes (STA), envisagez des instruments de 300 kV. Pour le criblage et la collecte de données à résolution moyenne, envisagez des instruments de 200 kV. Pour un point d'entrée à moindre coût doté de capacités de criblage, évaluez les instruments de 100 à 120 kV (résumé dans Tableau 1).
   NOTE : Les fiches techniques évoluent fréquemment. Demandez toujours les détails de configuration et les prix actuels directement au fabricant avant de finaliser les décisions d'équipement.
3. Choisissez un détecteur à direct électron (DED) adapté au microscope et à l'application. Pour l'analyse de particules individuelles (SPA) à haute résolution sur les instruments de Thermo Fisher Scientific (TFS), le Falcon 4i est actuellement l'option principale pour les séries Krios et Glacios.
4. Pour les instruments JEOL CryoARM, le Gatan K3 offre une excellente sensibilité et des fréquences d'images élevées. Pour les installations visant à combiner l'analyse de particules individuelles (SPA) et la microdiffraction électronique (microED), vérifiez la compatibilité du détecteur avec les modes de collecte de données en diffraction électronique (Tableau 2).
   NOTE : Le DED est l'un des composants les plus coûteux de l'installation et a un impact significatif sur la qualité des données ainsi que sur les besoins de stockage. Le mode Electron Event Register (EER), par exemple, produit des fichiers bruts nettement plus volumineux que les formats compressés classiques, nécessitant une capacité de stockage et une bande passante réseau proportionnellement plus grandes.
5. Évaluez le rôle d'un filtre d'énergie lors du choix de la configuration de l'instrument de cryo-ME, car il peut influencer fortement la qualité des images, le choix du détecteur et les performances globales du système. En éliminant les électrons diffusés inélastiquement, les filtres d'énergie améliorent le contraste et le rapport signal/bruit, ce qui est particulièrement avantageux pour les échantillons difficiles, les applications d'analyse de particules individuelles (SPA) à haute résolution (avantageux), la tomographie électronique cryogénique (cryo-ET) (critique) et la microdiffraction électronique (microED) (avantageux).
6. Évaluez les systèmes de filtres d'énergie disponibles lors de la sélection de l'instrument. Les systèmes Gatan Bioquantum et Biocontinuum ou les systèmes Thermo Fisher Scientific Selectris et SelectrisX coûtent généralement environ 0,3 à 1,5 million de dollars américains, selon la configuration.
7. Évaluez le coût et la complexité supplémentaires associés aux filtres d'énergie en tenant compte des capacités du détecteur, des objectifs de l'installation et des applications prévues par les utilisateurs avant de choisir la configuration finale de l'instrument.
8. Prenez en compte les contrats de maintenance lors du calcul du coût total d'acquisition. Ces contrats couvrent généralement le microscope, le filtre d'énergie, le détecteur et le système de refroidissement par eau.
9. Négociez les conditions des contrats de maintenance — y compris les délais d'intervention garantis et la disponibilité de pièces de rechange — au moment de l'achat de l'instrument. Prévoyez un budget annuel représentant 8 à 15 % du prix d'achat de l'instrument pour la couverture de maintenance.

3. Conception et mise en œuvre de l'architecture du réseau

1. Concevoir le réseau interne de l'installation autour d'un commutateur central haute vitesse. Connecter directement tous les appareils producteurs et consommateurs de données à ce commutateur à la vitesse maximale prise en charge : contrôleur du microscope, contrôleur de caméra (souvent une station de travail distincte), serveurs de stockage et nœuds de calcul GPU.
2. Prévoir une connexion minimale de 10 Gbps pour chaque appareil. Prévoir des liaisons montantes de 25 Gbps ou plus entre le commutateur et les nœuds de stockage et de calcul, selon les possibilités budgétaires.
   NOTE : À 1 Gbps, le transfert de 20 To de données brutes prendrait 2 à 3 jours. À 10 Gbps, le même transfert prend 5 à 6 heures. À 25 Gbps, il dure environ 2 heures. La vitesse du réseau détermine directement si le traitement en continu peut suivre le rythme de l'acquisition des données.
3. Spécifier le commutateur central. Exigences : (a) une matrice de commutation non bloquante à débit nominal maximal ; (b) un nombre suffisant de ports SFP+ ou QSFP pour tous les appareils de l'installation ; (c) des fonctionnalités de commutateur géré (prise en charge des VLAN, surveillance du trafic, miroir de port pour le diagnostic) ; (d) des modules d'alimentation redondants. Choisir un commutateur géré de niveau professionnel offrant une matrice de commutation non bloquante, un nombre suffisant de ports haut débit, des fonctions de gestion du trafic et des alimentations redondantes.
4. Segmenter le réseau à l'aide de VLAN afin de séparer : (a) le VLAN d'acquisition de données (contrôleurs du microscope et de la caméra, serveurs de stockage) ; (b) le VLAN de calcul (stations de travail GPU et nœuds de cluster) ; (c) le VLAN de gestion (accès à distance, surveillance, administration).
   NOTE : La segmentation du réseau réduit le trafic de diffusion, améliore la sécurité et permet un dépannage indépendant de chaque sous-système.
5. Connecter le réseau de l'installation au WAN institutionnel via un port de liaison montante dédié sur le commutateur central. Une liaison montante de 1 à 10 Gbps vers le réseau du campus est suffisante pour l'accès à distance et le transfert de données externes.
6. Coordonner avec l'équipe informatique institutionnelle la mise en place d'adresses IP statiques, d'entrées DNS et de règles de pare-feu appropriées pour tous les appareils accessibles depuis l'installation (Figure 1).
7. Installer et étiqueter tous les câblages réseau. Utiliser des câbles direct attach ou des câbles optiques actifs pour les connexions de 10+ Gbps sur une distance allant jusqu'à 100 m (le câble Cat6A blindé fonctionne également pour 10 Gbps sur 100 m) ; utiliser des assemblages de fibre pré-terminés (LC-LC ou MTP) pour les liaisons inter-baies de 25+ Gbps.
8. Documenter entièrement le schéma de câblage à l'aide d'un schéma réseau indiquant les noms des appareils, les adresses IP, les affectations de ports et l'appartenance aux VLAN.
   NOTE : Se référer à Figure 2 pour un schéma de la topologie réseau minimale recommandée pour une petite installation de cryo-ME.

4. Conception et déploiement du serveur de stockage

1. Calculez les besoins de stockage avant l'acquisition du matériel. À titre de référence : une seule session de cryo-ME haut de gamme génère 2 à 5 téraoctets (To) de données brutes par jour.
2. Estimez les besoins de stockage à long terme en fonction de l'utilisation prévue de l'installation. Une structure accueillant 20 utilisateurs et exploitant deux microscopes peut produire environ 2 pétaoctets (Po) de données en 3 à 6 mois d'exploitation. Prévoyez un stockage pour les données brutes (à court terme, haut débit) et pour les données traitées (à moyen terme, volume plus important), car les jeux de données traités sont souvent 10 à 20 fois plus volumineux que les données brutes initiales.
3. Choisissez une architecture de stockage robuste. Les serveurs autonomes basés sur ZFS constituent le point de départ recommandé pour la plupart des installations, offrant un rapport coût-capacité avantageux, une vérification intégrée de l'intégrité des données (sommes de contrôle), des configurations flexibles équivalentes au RAID (RAIDZ, RAIDZ2) et un support des instantanés. Les systèmes de fichiers distribués en cluster (Gluster, Ceph, GPFS/IBM Spectrum Scale) peuvent offrir des performances et une évolutivité supérieures, mais nécessitent plusieurs serveurs physiques et une administration plus complexe.
4. Configurez les pools de stockage ZFS. Configuration initiale recommandée : deux vdev RAIDZ2 (chacun composé de 6 à 8 disques durs SAS haute capacité, de 16 à 20 To chacun), offrant environ 60 à 70 % de capacité utilisable avec une protection contre deux pannes de disque simultanées.
5. Ajoutez un vdev dédié de cache d'écriture SSD (L2ARC) utilisant 2 à 4 SSD NVMe afin d'accélérer les performances de lecture aléatoire pour les tâches de traitement actives.
   NOTE : N'utilisez pas de disques SATA grand public dans les baies de stockage en production. Des disques SAS ou NL-SAS professionnels dotés d'une capacité de charge de travail spécifiée (par exemple, 550 To/an) sont essentiels pour supporter les schémas d'entrée/sortie aléatoires soutenus des flux de travail en cryo-ME.
6. Configurez des exports NFS (pour les clients Linux) et des partages SMB (pour les clients Windows) sur le serveur de stockage ZFS. Montez le partage de données principal sur tous les nœuds de calcul GPU ainsi que sur la station de travail du contrôleur de caméra afin de permettre un accès direct aux données sans copies intermédiaires.
7. Mettez en place une politique de rétention et de cycle de vie des données. Définissez : (a) la durée de conservation des films bruts (généralement 3 à 6 mois après la collecte) ; (b) la conservation des micrographies corrigées du mouvement ; (c) la conservation des jeux de données traités finaux (indéfinie jusqu'à la publication) ; (d) la procédure d'archivage pour les projets terminés.
8. Mettez en œuvre des alertes automatiques lorsque l'utilisation du stockage dépasse 70 % de la capacité, afin de permettre l'acquisition en temps voulu de stockage supplémentaire.
   NOTE : Le stockage est le coût le plus fréquemment sous-estimé lors de la planification d'une installation de cryo-ME. Ne confondez pas l'approbation d'achat du microscope avec un financement adéquat pour le stockage. L'acquisition du stockage doit être planifiée en parallèle avec l'installation de l'instrument, et non après le début de la collecte des données.

5. Infrastructure de calcul GPU

1. Déterminez les besoins en calcul en fonction du débit attendu. Pour un microscope unique générant de 3 000 à 5 000 micrographies par session de 24 h, un minimum de deux nœuds de calcul, chacun équipé de 4 cartes GPU NVIDIA (architecture Maxwell ou ultérieure, mémoire vidéo VRAM de 11 Go ou plus, par exemple RTX 3090, RTX 4090 ou A100), est nécessaire pour assurer un prétraitement en continu à la vitesse d'acquisition.
2. Pour des installations plus grandes ou des flux de travail en cryo-TÉ avec un volume élevé de séries de basculement, prévoyez des nœuds supplémentaires.
3. Spécifiez le matériel des nœuds de calcul GPU. Chaque nœud doit inclure : (a) 4 GPU NVIDIA compatibles CUDA (mémoire VRAM minimale de 24 Go par GPU pour les raffinements 3D dans CryoSPARC et RELION) ; (b) un processeur à nombre élevé de cœurs (AMD EPYC ou Intel Xeon, ≥32 cœurs) pour prendre en charge les étapes parallèles gourmandes en CPU (estimation de la CTF, entrées/sorties de fichiers) ; (c) ≥256 Go de mémoire système (RAM) ; (d) un espace local de stockage temporaire NVMe SSD de 2 à 4 To pour les données intermédiaires des travaux en cours ; (e) une carte réseau (NIC) de 10/25 Gbps ; (f) un stockage local suffisant pour les jeux de données en cours de traitement (généralement un volume RAID). REMARQUE : Les GPU grand public (RTX 4090) peuvent offrir des performances comparables à celles des modèles professionnels (A100) à un coût nettement inférieur pour les charges de travail en cryo-ME. Évaluez les tests de référence spécifiques à CryoSPARC et RELION, car leurs schémas d'accès mémoire favorisent les GPU à bande passante mémoire élevée.
4. Installez la pile de pilotes NVIDIA, le kit d'outils CUDA (version compatible avec CryoSPARC et RELION) et cuDNN sur chaque nœud de calcul. Utilisez un outil de gestion de configuration pour standardiser les environnements logiciels sur tous les nœuds et simplifier les mises à jour futures.
5. Déployez CryoSPARC en configuration autonome ou en cluster. Pour une installation multi-nœuds, installez CryoSPARC-master sur un nœud principal dédié et CryoSPARC-worker sur chaque nœud de calcul GPU.
6. Configurez la planification des tâches pour permettre à plusieurs utilisateurs de soumettre simultanément des travaux de traitement. Suivez la documentation officielle de l'architecture CryoSPARC pour connaître les exigences minimales en matière de système et de configuration réseau.
7. Installez RELION en complément de la plateforme de traitement principale afin de proposer aux utilisateurs les deux écosystèmes de traitement. Configurez le logiciel pour utiliser les nœuds de calcul locaux via un planificateur (SLURM ou PBS/Torque).
8. Installez des outils complémentaires : MotionCor2 (correction du mouvement), CTFFIND4 et Gctf (estimation de la CTF), TOPAZ (sélection de particules basée sur l'apprentissage automatique), crYOLO (sélecteur de particules par réseau neuronal) et cryoDRGN (analyse de l'hétérogénéité). Reportez-vous au Tableau 3 pour un aperçu des logiciels disponibles pour la SPA, la cryo-TÉ, la STA et la microED. 
9. Utilisez le déploiement du consortium SBGrid ou une gestion logicielle basée sur des conteneurs (Singularity/Apptainer pour les environnements HPC ; Docker pour les postes de travail) afin de maintenir des environnements logiciels reproductibles et versionnés.
   REMARQUE : SBGrid fournit des versions précompilées et validées de tous les principaux outils logiciels de cryo-ME, avec une gestion automatisée des mises à jour pour les établissements académiques.

6. Infrastructure d'accès à distance

1. Établir un accès à distance basé sur un réseau privé virtuel (VPN) comme point d'entrée principal et sécurisé pour tous les utilisateurs et membres du personnel situés hors site. Collaborer avec le service informatique institutionnel pour configurer un profil ou un tunnel VPN spécifique à l'installation, permettant d'accéder au réseau de calcul et de stockage de l'installation sans exposer les appareils à l'Internet public plus large.
2. Mettre en œuvre une authentification à deux facteurs (2FA) sur tous les points d'accès à distance (Figure 2).
3. Déployer un logiciel de bureau à distance pour accéder graphiquement aux contrôleurs de microscope et aux stations de travail équipées de GPU. Options recommandées : (a) TeamViewer (commercial, multiplateforme, franchissement NAT — adapté pour l'accès aux contrôleurs de microscope) ; (b) NoMachine (commercial, multiplateforme, prend en charge la diffusion graphique OpenGL 3D — recommandé pour les stations de travail GPU exécutant des outils de visualisation) ; (c) TurboVNC avec VirtualGL (open source, Linux uniquement, prend en charge le rendu 3D à distance).
   NOTE : De nombreux outils de visualisation en cryo-ME utilisent OpenGL pour le rendu 3D. La diffusion X11 standard ne prend pas en charge OpenGL avec accélération matérielle. Utiliser NoMachine ou VirtualGL/TurboVNC pour ces applications.
4. Configurer l'accès à distance au logiciel d'acquisition de données du microscope. Utiliser Leginon ou SerialEM pour une exploitation à distance via le VPN institutionnel. Le logiciel d'acquisition du microscope peut être accessible à distance via une application de bureau à distance approuvée.
5. Tester la connectivité à distance depuis des emplacements représentatifs hors site (réseaux domestiques, institutions collaboratrices) avant de lancer les opérations utilisateurs (Tableau 4).
6. Mettre en place un tableau de bord de surveillance de l'installation basé sur le web, permettant au personnel et aux utilisateurs de surveiller à distance l'état de la collecte de données, les résultats du prétraitement, l'utilisation du stockage et l'état des files d'attente de calcul. Leginon inclut une interface de surveillance web intégrée.
7. Pour le flux de travail CryoSPARC, configurer Grafana ou un tableau de bord web personnalisé alimenté par les journaux du pipeline et les outils de surveillance système (Prometheus, node_exporter).
8. Établir un mécanisme de livraison de données pour les utilisateurs externes. Configurer un service de transfert de données authentifié, tel que Globus Connect Server, sur le système de stockage de l'installation.
9. Pour les utilisateurs ne disposant pas d'un accès à Globus, préparer des procédures d'expédition de disques durs USB accompagnées de sommes de contrôle documentées. Une liaison montante Internet de 10 Gbps est nécessaire pour permettre aux utilisateurs externes de télécharger directement des jeux de données de plusieurs téraoctets de manière pratique.

7. Workflow de traitement des données en temps réel : mise en œuvre

1. Préconfigurer le chemin de flux des données avant chaque session de collecte de données. Vérifier que : (a) le contrôleur de la caméra enregistre directement les vidéos brutes sur le stockage haute performance monté en NFS de l'installation ; (b) le partage NFS est monté et accessible sur tous les nœuds de calcul GPU ; (c) une capacité de stockage libre suffisante est disponible pour la session prévue (au minimum 5 To libres pour une session SPA de 24 h) ; (d) les nœuds de calcul GPU sont disponibles et qu'aucune tâche longue ne concurrencera l'accès aux ressources.
2. Configurer une correction de référence de gain. Avant chaque session, acquérir une image de référence de gain conformément aux spécifications du fabricant du détecteur (généralement une exposition au faisceau vide sur une zone vide de la grille).
3. Placez le fichier de référence de gain dans le répertoire d'entrée désigné pour le prétraitement. Tous les logiciels de correction des mouvements (MotionCor2, l'implémentation propre de RELION) appliqueront automatiquement cette référence si la configuration est correcte.
4. Lancez le pipeline de prétraitement en continu à l'aide de CryoSPARC-Live (méthode recommandée pour la visualisation en temps réel). Le pipeline doit être lancé dès l'apparition des premiers films dans le répertoire de sortie, généralement dans les 5 à 10 premières minutes de la collecte automatisée des données.
   REMARQUE : CryoSPARC-Live continue de surveiller un répertoire désigné à la recherche de nouveaux fichiers de séries d'images et les traite dès leur arrivée. La principale différence est que CryoSPARC-Live offre une interface web interactive en temps réel pour la surveillance.
5. Workflow CryoSPARC-Live
   1. Dans l'interface web, accédez à un projet nouveau ou existant et créez une nouvelle session en direct^11,36.
   2. Configurer la source d'entrée : spécifier le chemin du répertoire vers lequel le contrôleur de la caméra écrit (le « dossier surveillé »), le modèle de nom de fichier correspondant aux fichiers bruts de vidéos (par exemple, *.tif, *.mrc ou *.eer pour les données au format EER du Falcon 4i), ainsi que le chemin du fichier de référence de gain.
   3. Définir les paramètres de correction du mouvement : nombre d'images à utiliser, correction du mouvement basée sur des zones (recommandé : zones de 5x5), facteur de binning en sortie (généralement 1 pour l'acquisition de données proche de la limite de Nyquist ; 2 pour le criblage initial) et dose d'électrons par image (calculée à partir de la dose totale et du nombre d'images).
   4. Définir les paramètres d'estimation de la fonction de transfert de contraste (CTF) : résolution minimale et maximale pour l'ajustement (généralement 30 Å et 4 Å), plage de recherche de la défocalisation (0,5–5 µm recommandé pour la SPA) et l'astigmatisme acceptable maximal. Activer l'estimation de la CTF par inclinaison pour les jeux de données de cryo-TÉ.
   5. Configurer le choix des particules : sélectionner la méthode de choix (sélecteur de taches pour les premières sessions ; sélecteur de modèles après obtention des premières bonnes classes 2D ; sélecteur TOPAZ pour les échantillons difficiles). Définir le diamètre attendu des particules ainsi que l'espacement minimum et maximum entre les particules.
   6. Afin de réduire considérablement les besoins de stockage, la charge de transfert des données et les coûts de calcul, il est recommandé d'appliquer un recadrage de Fourier d'un facteur 4 lors de l'extraction des particules (ce qui entraîne une taille physique de pixel 4 fois plus grande). Pour l'évaluation courante de la qualité des données, des résolutions intermédiaires de 3 à 5 Å sont généralement suffisants lors du traitement en continu.
   7. Activer la classification 2D dans la session en direct. Définir le nombre de classes 2D (généralement 50 à 200), la taille du lot pour les mises à jour incrémentielles (200 à 500 particules) et la limite de résolution pour la classification (6 à 8) Å pour l'évaluation initiale).
   8. Lancer la session en direct. Surveiller le tableau de bord en temps réel pour : le nombre et le débit des films entrants, la qualité de la correction des mouvements (mouvement total par film — rejeter les films présentant un mouvement total supérieur à 50 µm). >30 Å mouvement total en règle générale), qualité de l'ajustement de la CTF (rejeter les micrographies présentant une résolution d'ajustement de la CTF >6–8 Å), rendement de particules par micrographie et qualité évolutive des moyennes de classes 2D.
   9. Définir les seuils d'acceptation pour la couration automatisée. Dans le panneau Filtres, définir les critères de rejet relatifs au mouvement (seuil de déplacement total), à la qualité de la CTF (seuil de résolution d'ajustement) et à la plage de défocalisation (exclusion des micrographies extrêmement sous- ou sur-focalisées). Les particules corrigées sont automatiquement acheminées vers la tâche de classification 2D en aval.

8. Contrôle qualité en temps réel et rétroaction pendant la collecte des données

1. Surveiller continuellement les statistiques de la CTF pendant toute la durée de la session. Tracer les valeurs de défocalisation pour chaque micrographie : la distribution doit être regroupée dans la plage de défocalisation prévue (généralement de −0,5 à −3,0 µm pour l'ASP).
2. Une dérive systématique vers des valeurs de défocalisation plus élevées peut indiquer une dérive de la platine ou un mauvais calibrage de la hauteur eucentrique. Alerter immédiatement le personnel de la plateforme si la résolution de l'ajustement de la CTF se dégrade en dessous de 6 Å, car cela indique généralement une contamination de la glace, une instabilité du faisceau ou une dérive de focalisation nécessitant une intervention.
3. Surveiller les sorties de correction de mouvement. Le mouvement total par film doit être inférieur à 10–30 Å pour des données de haute qualité. Un mouvement élevé systématique dans les premières images est attendu et est corrigé ; toutefois, un mouvement élevé persistant tout au long du film (>40 Å au total) peut indiquer une instabilité mécanique de la platine ou une charge du spécimen, et doit être investigué.
4. Examiner les moyennes 2D au fur et à mesure de leur mise à jour durant la session (toutes les 30–60 min). Des indicateurs d’un jeu de données de haute qualité : des moyennes de classes montrant des caractéristiques de structure secondaire, plusieurs vues distinctes de la particule, et l’absence d’artéfacts d’empilement ou d’agrégation.
5. Surveiller les indicateurs nécessitant une intervention : toutes les particules se regroupant dans des classes « parasites » sans caractéristique (suggérant une mauvaise qualité de l’échantillon ou de la glace), l’absence totale de certaines vues (suggérant une orientation préférentielle — pouvant nécessiter une optimisation de la grille), ou des rendements de particules extrêmement faibles par micrographie.
6. Enregistrer toutes les observations dans un journal de session structuré. Noter : les heures de début et de fin de la session, les paramètres du microscope et de la caméra, un résumé des statistiques en temps réel (nombre total de films collectés, fraction passant le filtre de CTF, fraction passant le filtre de mouvement, nombre total de particules sélectionnées, évaluation des classes 2D), ainsi que toute intervention effectuée. Ce journal est essentiel pour l’évaluation a posteriori de la qualité et pour les rapports sur la performance de la plateforme.
7. À la fin de la session, générer un rapport récapitulatif de la qualité des données. La plateforme de traitement en continu exporte automatiquement un résumé de la session.
   NOTE : Une autre option pour générer des résumés et des rapports consiste à utiliser des outils d’intelligence artificielle tels que Vitreum. Dans la plateforme de cryo-microscopie électronique biomoléculaire de l’UCSC, la plateforme Vitreum est utilisée pour gérer les flux de travail en laboratoire et la documentation expérimentale. Vitreum enregistre les étapes expérimentales au fur et à mesure qu’elles se produisent, applique des contraintes au niveau du protocole, vérifie l’exécution du flux de travail par rapport à des critères de qualité prédéfinis, et fournit un historique traçable des activités de laboratoire. En intégrant les opérations de laboratoire à l’infrastructure informatique et de gestion des données de la plateforme, cette solution minimise la tenue manuelle des registres, améliore la reproductibilité, facilite la communication entre le personnel de la plateforme et les utilisateurs, et permet un suivi cohérent des expériences, de la préparation des échantillons jusqu’à la collecte de données et à l’analyse computationnelle ultérieure.

9. Pipeline de traitement des données après le prélèvement

1. Une fois le prétraitement en continu terminé, la pile de particules triée et regroupée est exportée conjointement avec les films prétraités et validés.
2. Détacher le projet CryoSPARC de la station de travail principale, puis le rattacher à une autre station de travail partagée et accessible à distance. Cela permet un transfert rapide et une rotation efficace pour démarrer la prochaine session d'acquisition de données.
   REMARQUE : Une collecte de données typique peut varier entre 1 et 2 jours, facilement surveillée à l'aide de CryoSPARC-Live. Toutefois, les étapes de traitement 3D peuvent prendre des semaines ou des mois, ce qui justifie le transfert du projet entre postes de travail et serveurs de stockage.
3. Dans CryoSPARC, exporter les particules triées et binned de la session en direct vers un projet standard pour un traitement 3D hors ligne³⁶. 
4. Effectuer une reconstruction 3D ab initio. Dans CryoSPARC, utiliser la tâche de reconstruction ab initio (3 à 5 modèles initiaux recommandés pour les échantillons hétérogènes). Générer 1 à 4 modèles initiaux afin d'évaluer l'hétérogénéité structurale.
5. Une fois que les valeurs reconstruites sont satisfaisantes, extraire à nouveau les particules non regroupées afin d'améliorer la résolution globale.
6. Effectuer un affinement 3D à l’aide de l’affinement hétérogène (si plusieurs conformations ou classes sont suspectées), suivi d’un affinement homogène pour la meilleure classe. Dans CryoSPARC, utiliser l’affinement hétérogène suivi d’un affinement non uniforme. 
7. Appliquer le polissage bayésien dans RELION¹³ ou utiliser une correction du mouvement par particule et un affinement de la CTF (tâche « CTF refinement » dans CryoSPARC) pour améliorer le signal par particule en tenant compte du mouvement induit par le faisceau et de la défocalisation par particule, selon les préférences de l'utilisateur. Cette étape améliore habituellement la résolution finale de la carte de 0,2 à 0,5 Å ÅDe plus, la correction du mouvement basée sur une référence (RBMC) dans CryoSPARC peut également être une option pour améliorer la résolution et la qualité de la carte.
8. Valider la carte finale à l'aide de la procédure de référence de corrélation entre tranches de Fourier (FSC). Diviser la pile de particules en deux demi-ensembles indépendants, effectuer une affinement séparément, puis calculer la FSC entre les deux cartes demi-résolution. Indiquer la résolution finale à FSC = 0,143.
9. Calculer la FSC entre la carte et le modèle (FSC-Q) et les scores Q après l'ajustement du modèle atomique, en tant que métriques de validation indépendantes³⁷.
10. Effectuer la construction et la validation du modèle atomique. Utiliser ModelAngelo pour la construction automatisée de novo à partir de la carte de densité²⁰. Affiner le modèle à l'aide de l'affinement dans l'espace réel de PHENIX et le valider avec MolProbity.
11. Utiliser COOT³⁵ après la génération du modèle initial afin de visualiser la carte de densité, ajuster ou adapter les coordonnées atomiques, corriger les erreurs de modélisation, reconstruire les régions manquantes et optimiser les structures de protéines, d'acides nucléiques ou de ligands. Il permet une édition interactive des résidus, des conformations des chaînes latérales, des structures secondaires et des attributions de séquence, suivie d'un raffinement en espace réel afin d'améliorer la concordance entre le modèle atomique et la densité expérimentale.
12. Enfin, déposez le modèle atomique final dans la Protein Data Bank (PDB), la carte de densité dans la Electron Microscopy Data Bank (EMDB), et les données brutes ou prétraitées dans l'Electron Microscopy Public Image Archive (EMPIAR).

Résultats

A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:

Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.

On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.

2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.

Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.

Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.

Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.

Manufacturer	Model	kVmax	Electron Source	Compatible DEDs	Primary Applications	Strengths	Limitations/Notes
Thermo Fisher Scientific	Krios G4/Krios 5	300 kV	XFEG/CFEG	Falcon 4i, Falcon 3EC, Gatan K3/K2	SPA, cryo-ET/STA, MicroED	Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å)	Highest cost, infrastructure demanding
	Glacios 2	200 kV	XFEG	Falcon 4i, Falcon 4, Gatan K3	SPA, cryo-ET, MicroED	Strong performance at lower cost, compact footprint, high accessibility	Lower ultimate resolution vs 300 kV
	Talos Arctica	200 kV	XFEG	Falcon 3, Falcon 4, Gatan K2/K3	SPA, cryo-ET	Proven, robust, widely adopted	Older generation, less automation
	Talos L120C	120 kV	LaB6	Ceta CMOS (limited DED)	Screening, MicroED (limited)	Cost-effective, training/screening	Not suitable for high-resolution SPA
JEOL	CRYO ARM 300 II (JEM-Z300FSC)	300 kV	CFEG	Gatan K3/K2, Direct Electron DE64	SPA, cryo-ET/STA, MicroED	Cold FEG (high coherence), top-tier resolution, strong optics	Less integrated ecosystem
	CRYO ARM 200	200 kV	CFEG	Gatan K3/K2, DE64	SPA, cryo-ET	Excellent performance-cost ratio, high stability	Fewer turnkey automation tools
	JEM-3200FSC	300 kV	FEG	Gatan K2/K3, DE20	SPA, cryo-ET	Large installed base, proven	Legacy system, aging support
Hitachi High-Tech	HF8300	300 kV	FEG	Gatan K3/K2, DE64 (custom integration)	SPA, cryo-ET	High-voltage capability, flexible integration	Limited adoption in structural biology
	HT7800	120 kV	LaB6	CMOS, limited DED	Screening, MicroED	Reliable screening scope	Not suitable for high-resolution cryoEM
	SU9000 (TEM/STEM)	200 kV	CFEG	Limited cryo-compatible DEDs	Niche cryo, materials	Advanced optics	Not widely used for SPA/ET

Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kV_max), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.

Detector	Vendor	Key Features	Typical Pairing	Best Use Case
Falcon 4i	Thermo Fisher Scientific	EER mode, very high frame rate, high DQE	Krios, Glacios	High-throughput SPA, cryo-ET
Gatan K3	Gatan (AMETEK)	Counting mode, large FOV, super-resolution	JEOL + Thermo	High-resolution SPA (standard)
Gatan K2	Gatan	Previous-gen counting detector	Legacy systems	Established pipelines
DE64	Direct Electron	Large sensor, high throughput	JEOL, selected Thermo	Cryo-ET, large field-of-view
Apollo	Direct Electron	High frame rate, high throughput	Krios, Glacios, JEOLs	SPA and microED

Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.

Software	Main Function	Key Features	Reference
RELION	End-to-end SPA processing	Bayesian refinement, classification, CTF refinement	7, 12, 13
cryoSPARC	End-to-end SPA	Fast GPU pipelines, ab initio reconstruction	11
EMAN2	Image processing suite	Reconstruction, heterogeneity analysis (e2gmm)	14
cisTEM	SPA processing	User-friendly GUI, refinement and validation	15
SPHIRE	SPA (SPARX-based)	High-resolution refinement workflows	16
cryoDRGN	Heterogeneity analysis	Deep learning latent space reconstruction	17
Topaz	Particle picking	Deep learning-based picking	18
crYOLO	Particle picking	Real-time neural network picking	16
Warp	Preprocessing	Motion correction, CTF estimation, real-time processing	19
Model Angelo	Model building	Automated model building from maps	20
cryoET + STA
Software	Main Function	Key Features	Reference
IMOD	Tilt-series alignment & reconstruction	Gold standard for tomogram reconstruction	21
Dynamo	STA	Geometry-based particle picking, flexible workflows	22
emClarity	STA refinement	High-resolution STA, template matching	23
RELION (ET module)	STA refinement	Bayesian STA, integration with SPA workflows	24
EMAN2 (SPT)	STA	Subtomogram refinement tools	14
Warp/M	Preprocessing + STA	Real-time tomographic preprocessing	19
AreTomo	Tomogram reconstruction	Fast alignment and reconstruction	25
PEET	STA	Subtomogram averaging (IMOD-based)	26
PyTom	STA	Template matching, classification	27
Tomo3D	Reconstruction	Fast GPU tomogram reconstruction	28
crYOLO (3D)	Particle picking	ML-based picking in tomograms	16
AITom	AI-based analysis	Deep learning for segmentation and classification	29
MicroED
Software	Main Function	Key Features	Reference
DIALS	Diffraction processing	Integration of diffraction data	30
XDS	Data processing	Indexing and integration of diffraction data	31
MOSFLM	Data processing	Crystallography indexing	32
SHELX	Structure solution	Phasing and refinement	33
Phenix	Structure refinement	Automated model building	34
COOT	Model building	Manual model correction	35

Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.

Category	Software	Type	Primary Function	Key Features / Role in Facility
Operating System	Linux (Ubuntu, CentOS/Rocky)	OS	Core compute environment	HPC standard, GPU support, scripting, cluster deployment
Operating System	Windows	OS	User interface / workstation OS	Compatibility with vendor software, remote desktop access
File System	ZFS	File system	Data storage & integrity	Snapshots, redundancy, data integrity (checksums), scalable storage
Network File Sharing	NFS	Protocol	Linux-based file sharing	High-performance sharing across compute nodes
Network File Sharing	SMB (CIFS)	Protocol	Cross-platform file sharing	Windows–Linux interoperability
Remote Access	Microsoft Remote Desktop (RDP)	Remote access	GUI-based remote control	Native Windows remote access
Remote Access	NoMachine	Remote access	High-performance remote desktop	Fast GPU-enabled visualization, widely used in cryoEM
Remote Access	TeamViewer	Remote access	Remote support/access	Easy setup, cross-platform support
Remote Access	VirtualGL + TurboVNC	Remote visualization	GPU-accelerated remote rendering	Essential for remote cryoSPARC/RELION visualization
GPU Computing	CUDA	Compute framework	GPU acceleration	Required for cryoSPARC, RELION, deep learning tools
Data Transfer	Globus	Data transfer	Secure large-scale transfer	High-speed, fault-tolerant data movement across institutions

Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.

Discussion

L'infrastructure informatique d'un laboratoire de microscopie électronique cryogénique n'est pas une simple considération secondaire, mais un prérequis opérationnel. Les laboratoires qui commencent la collecte de données sans capacité de stockage, de réseau et de traitement suffisantes se retrouvent inévitablement confrontés à un choix entre jeter les données brutes, interrompre la collecte de données ou accepter des retards de plusieurs mois dans la détermination des structures. Les protocoles décrits ici visent à éviter ces conséquences en garantissant que l'infrastructure informatique est conçue, testée et validée avant la première session utilisateur.

Le principe le plus important dans la conception informatique de la cryo-ME est que la capacité de stockage et du réseau doit être dimensionnée en fonction du débit de données du détecteur, et non selon l'intuition historique du concepteur de l'installation. En mode EER, le détecteur peut écrire de 8 à 12 Go par pile d'images ; à raison d'environ 15 séries par minute sur une session de 24 heures, cela produit environ 2 à 5 To de données brutes avant toute compression. Bien qu'une compression sans perte en temps réel (disponible dans CryoSPARC-Live) puisse réduire ce volume de 50 à 70 %, le réseau et le stockage doivent être capables de gérer le débit d'écriture non compressé en cas de désactivation ou de défaillance de la compression. Il est essentiel de concevoir l'infrastructure pour la capacité maximale plutôt que pour la capacité moyenne.

Le traitement en temps réel représente l'une des avancées les plus significatives dans le fonctionnement des plateformes de cryo-ME ces dernières années. Avant la disponibilité de pipelines en temps réel, le personnel de la plateforme n'avait aucun moyen objectif d'évaluer la qualité des données avant plusieurs heures, voire plusieurs jours après leur acquisition, moment où la session était déjà terminée et la grille d'échantillon potentiellement jetée. Grâce à CryoSPARC-Live, des moyennes de classes 2D montrant une structure secondaire reconnaissable peuvent être disponibles 2 à 4 heures après le début de la session, permettant ainsi de prendre des décisions éclairées concernant le choix des grilles, les ajustements des paramètres d'acquisition des données, ou la prolongation ou l'arrêt de la session. Cette boucle de rétroaction constitue sans doute le moyen le plus direct par lequel l'infrastructure informatique améliore les résultats scientifiques.

Une limitation connue du flux de travail en temps réel est sa sensibilité aux erreurs de configuration. Une taille de pixel incorrectement définie, une référence de gain erronée ou une valeur de dose par image non adaptée se propagera à l'ensemble du pipeline, produisant des métriques de qualité trompeuses et des jeux de particules corrompus. Nous recommandons donc une liste de vérification normalisée avant la session, qui vérifie explicitement tous les paramètres de configuration du pipeline avant le début de l'acquisition des données. Cette liste de vérification doit être considérée comme un document critique pour la sécurité, analogue aux listes de vérification pré-vol en aviation, comme cela est décrit dans la littérature plus large sur la gestion des installations de cryo-ME.

Le choix entre CryoSPARC-Live et RELION dépend des priorités de l'installation. La plateforme de traitement en continu offre une interface web en temps réel supérieure, une intégration plus étroite entre les environnements de traitement en direct et hors ligne, ainsi qu'une configuration plus simple pour les utilisateurs non experts. RELION offre un contrôle plus fin des paramètres de traitement et constitue la plateforme privilégiée pour les utilisateurs ayant besoin d'options algorithmiques spécifiques (par exemple, le polissage bayésien, des stratégies particulières de classification 3D), par comparaison avec les stratégies de classification 3D (par exemple, 3DVAR ou 3D-classification) présentes dans CryoSPARC. De nombreuses installations déploient les deux en parallèle, utilisant CryoSPARC-Live pour la surveillance en temps réel et RELION pour la détermination finale de la structure.

L'infrastructure d'accès à distance mérite une attention particulière. Selon notre expérience, la majorité des problèmes signalés par les utilisateurs lors de la collecte de données provient d'échecs d'accès à distance, plutôt que de problèmes liés au microscope ou au détecteur. Un accès fiable et à faible latence en bureau distant aux microscopes et aux postes de travail de collecte de données n'est pas un luxe : c'est le principal moyen par lequel la plupart des utilisateurs interagissent avec l'installation. Investir dans des serveurs de bureau distant correctement configurés, tester la connectivité depuis des emplacements représentatifs des utilisateurs et documenter clairement la procédure de connexion auront un impact positif plus important sur l'expérience utilisateur que de nombreux investissements matériels bien plus coûteux.

Enfin, une politique de gestion des données doit être établie et communiquée aux utilisateurs avant le début des opérations de l'installation. Les utilisateurs sous-estiment fréquemment la taille de leurs jeux de données et surestiment la durée de leur espace de stockage alloué. Une politique écrite claire précisant les périodes de conservation des données brutes, les quotas de données par utilisateur, les procédures d'archivage et le recouvrement des coûts en cas de dépassement de stockage protège à la fois l'installation et ses utilisateurs, et prévient les crises opérationnelles qui surviennent lorsque le stockage est épuisé en milieu de session.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Krios 5	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-5-cryo-tem.html	Microscope électronique en transmission
Krios G4	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-g4-cryo-tem.html	Microscope électronique en transmission
Glacios	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-cryo-tem.html	Microscope électronique en transmission
Glacios 2	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-2-cryo-tem.html	Microscope électronique en transmission
Glacios 3	ThermoFisher Scientific	https://www.thermofisher.com/ (dernière génération ; la page produit peut varier selon la région)	Microscope électronique en transmission
Talos Arctica	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-arctica.html	Microscope électronique en transmission
Talos L120C	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-l120c.html	Microscope électronique en transmission
CRYO ARM 300 II (JEM-Z300FSC)	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm300ii.php	Microscope électronique en transmission
CRYO ARM 200	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm200.php	Microscope électronique en transmission
JEM-3200FSC	JEOL	https://www.jeol.com/products/scientific/tem/jem3200fsc.php	Microscope électronique en transmission
HF8300	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html	Microscope électronique en transmission
HT7800	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html	Microscope électronique en transmission
SU9000 (TEM/STEM)	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html	Microscope électronique en transmission
Falcon 4i	Thermo Fisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/direct-electron-detectors/falcon-4i.html	Détecteur d'électrons directs
Gatan K3	Gatan (AMETEK)	https://gatan.com/products/tem-cameras/k3-is-camera	Détecteur d'électrons directs
Gatan K2	Gatan	https://gatan.com/products/tem-cameras/k2-camera	Détecteur d'électrons directs
Apollo	Direct Electron	https://directelectron.com/apollo/	Détecteur d'électrons directs
DE64	Direct Electron	https://directelectron.com/de-64/	Détecteur d'électrons directs
RELION	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
cryoSPARC	Structura Biotechnology	https://cryosparc.com	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
EMAN2	Baylor College of Medicine (Développé par le laboratoire de Steven Ludtke)	https://blake.bcm.edu/emanwiki/EMAN2	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
cisTEM	National Research Council Canada (Développé par Tim Grant et collègues)	https://cistem.org	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
SPHIRE	Max Planck Institute of Molecular Physiology et Baylor College of Medicine	https://sphire.mpg.de	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
cryoDRGN	Princeton University (Développé par le laboratoire d'Ellen Zhong)	https://cryodrgn.cs.princeton.edu	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
Topaz	Harvard Medical School (Développé par le laboratoire de Travis Bepler)	https://github.com/tbepler/topaz	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
crYOLO	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	Logiciel pour la microscopie cryo-électronique à particules isolées (SPA)
Warp	MRC Laboratory of Molecular Biology (Développé par Dmitry Tegunov)	http://www.warpem.com	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
ModelAngelo	MRC Laboratory of Molecular Biology	https://www.modelangelo.org	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
IMOD	University of Colorado Boulder	https://bio3d.colorado.edu/imod	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
Dynamo	Centro Nacional de Biotecnología (CNB-CSIC)	https://www.dynamo-em.org	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
emClarity	University of California, San Francisco	https://github.com/StochasticAnalytics/emClarity	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
RELION (module ET)	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
EMAN2 (SPT)	Baylor College of Medicine	https://blake.bcm.edu/emanwiki/EMAN2	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
Warp/M	MRC Laboratory of Molecular Biology	https://warpem.github.io	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
AreTomo	Stanford University (Développé par les groupes de Fei Sun et Wah Chiu)	https://github.com/czimaginginstitute/AreTomo2	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
PEET	University of Colorado Boulder	https://bio3d.colorado.edu/PEET	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
PyTom	Max Planck Institute of Biochemistry	https://pytom.org	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
Tomo3D	Spanish National Centre for Biotechnology (CNB-CSIC)	https://sites.google.com/site/3demimageprocessing/tomo3d	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
crYOLO (3D)	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
AITom	Carnegie Mellon University	https://github.com/xulabs/aitom	Logiciel pour la tomographie électronique cryogénique (cryo-ET) et l'analyse par alignement de sous-tomogrammes (STA)
DIALS	Diamond Light Source et collaborateurs	https://dials.github.io	Logiciel pour la microdiffraction électronique (microED)
XDS	Max Planck Institute for Medical Research (Développé par Wolfgang Kabsch)	https://xds.mr.mpg.de	Logiciel pour la microdiffraction électronique (microED)
MOSFLM	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www.mrc-lmb.cam.ac.uk/mosflm	Logiciel pour la microdiffraction électronique (microED)
SHELX	University of Göttingen (Développé par George M. Sheldrick)	https://shelx.uni-goettingen.de	Logiciel pour la microdiffraction électronique (microED)
Phenix	Lawrence Berkeley National Laboratory (PHENIX Consortium)	https://phenix-online.org	Logiciel pour la microdiffraction électronique (microED)
Coot	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot	Logiciel pour la microdiffraction électronique (microED)
Linux (Ubuntu, CentOS/Rocky)	Ubuntu : Canonical Ltd. ; CentOS : CentOS Project ; Rocky Linux : Rocky Enterprise Software Foundation (RESF)	https://ubuntu.com / https://www.centos.org (héritage) /  https://rockylinux.org	Système d'exploitation
Windows	Microsoft	https://www.microsoft.com/windows	Système d'exploitation
ZFS	Oracle Corporation (initialement Sun Microsystems) ; OpenZFS maintenu par la communauté OpenZFS	https://openzfs.org	Système de fichiers
NFS	Sun Microsystems (maintenant maintenu comme norme IETF)	https://www.rfc-editor.org/rfc/rfc8881	Protocole
SMB (CIFS)	Microsoft	https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview	Protocole
Microsoft Remote Desktop (RDP)	Microsoft	https://learn.microsoft.com/windows-server/remote/remote-desktop-services	Accès à distance
NoMachine	NoMachine	https://www.nomachine.com	Accès à distance
TeamViewer	TeamViewer SE	https://www.teamviewer.com	Accès à distance
VirtualGL + TurboVNC	VirtualGL : The VirtualGL Project ; TurboVNC : The TurboVNC Project	https://virtualgl.org et https://turbovnc.org	Accès à distance
CUDA	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Infrastructure informatique