Progettazione e gestione di un centro interno di microscopia elettronica criogenica con infrastruttura IT e pipeline di elaborazione dati in tempo reale

Sommario

Questo protocollo fornisce un quadro pratico per la progettazione e l'esercizio dell'infrastruttura informatica di una struttura interna di microscopia elettronica criogenica (cryo-EM). Tratta la pianificazione della struttura, l'architettura di rete, l'archiviazione, il calcolo GPU, l'accesso remoto e l'elaborazione in tempo reale dei dati, consentendo una gestione efficiente di set di dati di diverse terabyte e garantendo operazioni cryo-EM scalabili, sostenibili e ad alte prestazioni.

Abstract

La microscopia crioelettronica (cryo-EM) è diventata un metodo dominante per la determinazione ad alta risoluzione della struttura di macromolecole biologiche. Con l'aumento globale del numero di strutture istituzionali dedicate alla cryo-EM, è emersa una sfida persistente: l'infrastruttura informatica necessaria per supportare queste strutture è spesso pianificata in modo insufficiente. Gli strumenti moderni di cryo-EM abbinati a rivelatori diretti di elettroni (DED) generano tra 2 e 5 TB di dati grezzi al giorno, e una struttura con 20 utenti può accumulare circa 2 PB di dati nell'arco di un singolo anno operativo. L'elaborazione di questi dati richiede nodi di calcolo dedicati con GPU, reti interne ad alta velocità e solide strategie di archiviazione a lungo termine, tutti elementi che devono essere predisposti prima dell'inizio della raccolta dati. Questo protocollo presenta un quadro integrato per la progettazione informatica e computazionale di una struttura interna di cryo-EM. Trattiamo i requisiti della struttura fisica (progettazione delle stanze, alimentazione elettrica, raffreddamento e isolamento dalle vibrazioni), la selezione degli strumenti (microscopi, DED e strumenti ausiliari) e l'intera architettura computazionale: configurazione degli switch di rete, selezione e dimensionamento dei server di archiviazione, provisioning dei nodi di calcolo con GPU e architettura per l'accesso remoto. Forniamo quindi un protocollo dettagliato per l'implementazione di pipeline di elaborazione dati in tempo reale, che includono correzione del movimento, stima della funzione di trasferimento del contrasto (CTF), selezione delle particelle e classificazione 2D in tempo reale durante la raccolta dati, utilizzando strumenti standard del settore. Vengono inoltre affrontate le strategie di trasferimento dati per utenti esterni. Questa guida colma una lacuna critica nella letteratura e consentirà a ricercatori e amministratori di realizzare strutture di cryo-EM pronte dal punto di vista computazionale fin dal primo giorno.

Introduzione

La rivoluzione della risoluzione in microscopia crioelettronica (cryo-EM) ha trasformato la biologia strutturale, permettendo la visualizzazione a risoluzione atomica di proteine, acidi nucleici e complessi macromolecolari senza la necessità di cristallizzazione^1,2. Tre avanzamenti tecnici hanno guidato questa trasformazione: lo sviluppo di rivelatori elettronici diretti (DED) con elevate frequenze di acquisizione, miglioramenti nell'ottica elettronica e nella meccanica del microscopio, e l'ottimizzazione di software per l'elaborazione delle immagini accelerati da GPU^3,4,5,6. Insieme, questi progressi hanno reso la cryo-EM il metodo preferito per una comunità in espansione di biologi strutturali.

La domanda di accesso alla microscopia crioelettronica ha spinto a investimenti significativi sia in grandi centri nazionali che in strutture istituzionali più piccole. I centri nazionali—come il NCCAT, il S2C2, il PNCC e il MCCET negli Stati Uniti, e l'eBIC, il NeCEN e lo SciLifeLab in Europa^3,5,6—forniscono accesso agli strumenti più avanzati per progetti approvati. Le strutture interne integrano queste risorse sostenendo ricerche specifiche per progetto, con tempi di risposta più rapidi e un'interazione più stretta tra utenti e personale. Tuttavia, istituire una struttura interna funzionante richiede molto di più rispetto all'acquisto di un microscopio: l'infrastruttura informatica di supporto è altrettanto fondamentale, e la sua inadeguatezza rappresenta una delle principali cause di fallimento operativo nelle nuove strutture⁶.

Una singola sessione avanzata di microscopia elettronica criogenica può generare da 2 a 5 TB di dati grezzi sotto forma di filmati in 24 ore. Con l'utilizzo di più microscopi e utenti, il carico di dati raggiunge rapidamente scala petabyte. L'elaborazione di questi dati richiede pipeline accelerate da GPU che devono essere operative in parallelo alla raccolta dei dati^7,8. Ritardi nel preelaborazione comportano un feedback ritardato sulla qualità dei dati e uno spreco di tempo strumentale. Nonostante queste evidenze, la maggior parte delle guide pubblicate sulla gestione di strutture di microscopia elettronica criogenica dedica scarsa attenzione ai componenti informatici, e nessuna fornisce un protocollo operativo passo dopo passo per configurare e validare un'infrastruttura dati completa.

Questo protocollo affronta tale lacuna. Vengono descritti i requisiti fisici e tecnici per la costruzione della struttura, i criteri di selezione per microscopi e rivelatori e, cosa più importante, la progettazione e l'implementazione dell'infrastruttura informatica che rende operativamente praticabile una struttura di microscopia elettronica criogenica⁶. Particolare attenzione è rivolta all'elaborazione dati in tempo reale: la pre-elaborazione automatizzata e concorrente dei dati durante l'acquisizione, che consente un controllo di qualità in tempo reale, orienta le decisioni di acquisizione e riduce in modo significativo il tempo di elaborazione successivo alla sessione^9,10,11. Seguendo questo protocollo, coloro che sviluppano strutture saranno in grado di realizzare un'operazione di microscopia elettronica criogenica completa e integrata, in grado di servire in modo sostenibile ed efficiente un'ampia comunità scientifica.

Protocollo

I dettagli relativi all'equipaggiamento, al software e ai materiali utilizzati in tutto il protocollo sono forniti nella Tabella dei materiali.

1. Progettazione delle strutture fisiche, del personale e dell'infrastruttura

1. Eseguire una valutazione del sito. Selezionare un'area edilizia che offra: un pavimento isolato dalle vibrazioni (livelli di vibrazione ambientale, idealmente < 1 µm/s RMS a 1–100 Hz); stabilità del campo magnetico (< 1 mG/m di gradiente spaziale e < 0,1 mG/m di variazione temporale per strumenti da 300 kV); temperatura ambiente stabile (18–22 °C con fluttuazioni < 0,5 °C); controllo dell'umidità (40–60% RH); e rumore acustico ridotto (<50 dB). Consultare tempestivamente le specifiche del produttore del microscopio durante la fase di progettazione.
   NOTA: Il ricondizionamento di una stanza esistente può costare quanto una nuova costruzione. Come regola generale, prevedere un budget pari a circa il 20% del costo d'acquisto del microscopio per la preparazione della stanza.
2. Progettare la disposizione degli spazi con una chiara separazione tra le diverse aree funzionali: (a) stanza(e) per microscopi elettronici a trasmissione criogenici (cryo-TEM); (b) un'anticamera per la preparazione e lo stoccaggio dei campioni su griglie; (c) una stanza per i sistemi di controllo contenente refrigeratori ad acqua, gruppi di continuità (UPS) e sistemi di raffreddamento del microscopio; e (d) una stanza server o un centro dati separato per l'infrastruttura di archiviazione e calcolo.
   NOTA: Mantenere la temperatura della stanza di controllo sempre al di sotto di 26 °C e prevedere alimentazione e raffreddamento di riserva dedicati. Le escursioni termiche nella stanza di controllo sono una causa frequente di fermo del microscopio.
3. Pianificare l'infrastruttura elettrica. Installare circuiti elettrici trifase dedicati per cryo-TEM di fascia alta. Collegare tutti i microscopi, le telecamere e le apparecchiature server all'infrastruttura elettrica protetta designata. Coordinarsi con il team tecnico dell'istituto per includere un generatore di emergenza in grado di sostenere il funzionamento del microscopio e il flusso dell'acqua di raffreddamento durante i blackout.
   NOTA: Diversi strumenti all'interno di un impianto di criomicroscopia elettronica richiedono più di un giorno per un corretto riavvio dopo un'interruzione. La perdita di corrente non programmata può danneggiare schede elettroniche sensibili e causare la perdita di sessioni attive di acquisizione dati.
4. Installare sistemi di raffreddamento ad acqua per il microscopio elettronico e le apparecchiature associate. Realizzare un circuito di raffreddamento ad acqua di riserva con commutazione automatica in caso di guasto. Monitorare continuamente la portata, la temperatura e la conducibilità dell'acqua mediante il sistema integrato di monitoraggio del microscopio o un'apposita serie di sensori.
5. Installare cavi in fibra ottica che collegano la(e) stanza(e) del microscopio alla stanza server durante la costruzione o la ristrutturazione. Prevedere almeno fibra multimodale OM4 o monomodale OS2, con sufficiente margine di cavo e pannelli di connessione etichettati alle due estremità.
   NOTA: L'installazione anticipata della fibra è notevolmente più economica rispetto a un intervento successivo.
6. Assegnare operatori specializzati o scienziati del laboratorio incaricati della manutenzione degli strumenti, della formazione degli utenti, della pianificazione, dell'ottimizzazione dei campioni e del supporto all'acquisizione dati. Assegnare personale IT dedicato per gestire l'infrastruttura, le prestazioni di rete, la sicurezza informatica, il backup dei dati, il rilascio del software, le risorse di calcolo GPU e l'accesso remoto degli utenti.
7. Determinare le esigenze di personale in base al livello di supporto agli utenti fornito e alla complessità dell'infrastruttura informatica. In laboratori più piccoli, come il Biomolecular cryo-EM Facility dell'UCSC, tali responsabilità possono essere condivise da un responsabile del laboratorio con competenze informatiche o dai servizi IT centralizzati dell'istituzione; tuttavia, con l'aumento del numero di microscopi, utenti e sessioni annuali di acquisizione dati, il personale specializzato diventa sempre più necessario.
8. Fornire supporto IT dedicato per i laboratori che gestiscono più cryo-TEM, al fine di garantire un'acquisizione dati ininterrotta, una gestione efficiente dei dati e risorse di calcolo scalabili. Investire precocemente in un'infrastruttura IT solida e in personale qualificato durante lo sviluppo del laboratorio per ridurre al minimo i tempi di inattività operativi, semplificare eventuali espansioni future e creare un quadro sostenibile in grado di supportare comunità utente in crescita e flussi di lavoro di criomicroscopia elettronica sempre più intensivi dal punto di vista dei dati.

2. Selezione del microscopio e del rilevatore

1. Definire la missione scientifica principale della struttura prima di selezionare un microscopio. Considerare: (a) se il flusso di lavoro principale sarà l'analisi di singole particelle (SPA), la tomografia crioelettronica (cryo-ET), la microdiffrazione elettronica (microED) o una combinazione di questi; (b) la dimensione prevista del gruppo di utenti e la diversità dei progetti; (c) i vincoli di bilancio sia per l'acquisizione che per i contratti di assistenza continuativa.
2. Valutare le piattaforme di criomicroscopia elettronica a trasmissione (cryo-TEM) disponibili in base alle applicazioni previste. Per analisi SPA ad alta risoluzione e mediazione di sottotomogrammi (STA), prendere in considerazione strumenti a 300 kV. Per attività di screening e acquisizione dati a risoluzione media, considerare strumenti a 200 kV. Per un'opzione iniziale a costo ridotto con capacità di screening, valutare strumenti a 100–120 kV (riassunti nella Tabella 1).
   NOTA: Le schede tecniche cambiano frequentemente. Richiedere sempre informazioni aggiornate sulle configurazioni e sui prezzi direttamente al produttore prima di finalizzare le decisioni sull'equipaggiamento.
3. Selezionare un rivelatore elettronico diretto (DED) compatibile con il microscopio e l'applicazione. Per analisi SPA ad alta risoluzione su strumenti Thermo Fisher Scientific (TFS), il Falcon 4i è attualmente l'opzione principale per le serie Krios e Glacios.
4. Per strumenti JEOL CryoARM, il Gatan K3 offre un'elevata sensibilità e velocità di acquisizione dei fotogrammi. Per strutture che prevedono sia SPA che microED, verificare la compatibilità del rivelatore con le modalità di acquisizione dati per diffrazione elettronica (Tabella 2).
   NOTA: Il DED è uno dei componenti più costosi della struttura e influenza in modo significativo la qualità dei dati e i requisiti di archiviazione. La modalità Electron Event Register (EER), ad esempio, produce file grezzi notevolmente più grandi rispetto ai formati compressi tradizionali, richiedendo proporzionalmente maggiore capacità di archiviazione e larghezza di banda di rete.
5. Valutare il ruolo di un filtro energetico durante la selezione della configurazione dello strumento di criomicroscopia elettronica, poiché può influenzare in modo significativo la qualità delle immagini, la scelta del rivelatore e le prestazioni complessive del sistema. Rimuovendo gli elettroni dispersi in modo anelastico, i filtri energetici migliorano il contrasto e il rapporto segnale-rumore, il che è particolarmente vantaggioso per campioni difficili, applicazioni di SPA ad alta risoluzione (vantaggiosa), cryo-ET (critica) e microED (vantaggiosa).
6. Valutare i sistemi di filtro energetico disponibili durante la selezione dello strumento. I sistemi Gatan Bioquantum e Biocontinuum o i sistemi Thermo Fisher Scientific Selectris e SelectrisX hanno tipicamente un costo compreso tra 0,3 e 1,5 milioni di dollari USA, a seconda della configurazione.
7. Valutare attentamente il costo aggiuntivo e la complessità associati ai filtri energetici in combinazione con le capacità del rivelatore, gli obiettivi della struttura e le applicazioni previste dagli utenti prima di scegliere la configurazione finale dello strumento.
8. Considerare i contratti di assistenza nel calcolo del costo totale di acquisizione. I contratti di assistenza coprono tipicamente il microscopio, il filtro energetico, il rivelatore e il sistema di raffreddamento ad acqua.
9. Negozia i termini del contratto di assistenza—compresi i tempi di intervento garantiti e la disponibilità di componenti sostitutivi—al momento dell'acquisto dello strumento. Prevedere un budget annuo pari all'8–15% del prezzo di acquisto dello strumento per la copertura dell'assistenza.

3. Progettazione e implementazione dell'architettura della rete

1. Progettare la rete interna dell'installazione intorno a uno switch centrale ad alta velocità. Collegare direttamente a questo switch tutti i dispositivi che generano o utilizzano dati alla velocità più elevata supportata: controller del microscopio, controller della telecamera (spesso una workstation separata), server di archiviazione e nodi di calcolo GPU.
2. Fornire una connessione minima di 10 Gbps per ogni dispositivo. Prevedere collegamenti in uscita (uplink) da 25 Gbps o superiori tra lo switch e i nodi di archiviazione e calcolo, laddove il budget lo consenta.
   NOTA: A 1 Gbps, il trasferimento di 20 TB di dati grezzi richiederebbe 2–3 giorni. A 10 Gbps, lo stesso trasferimento richiede 5–6 ore. A 25 Gbps, richiede circa 2 ore. La velocità della rete determina direttamente se l'elaborazione in tempo reale può mantenere il passo con l'acquisizione dei dati.
3. Definire le specifiche dello switch centrale. Requisiti: (a) matrice di commutazione non bloccante alla massima velocità di linea; (b) numero sufficiente di porte SFP+ o QSFP per tutti i dispositivi dell'installazione; (c) funzionalità di switch gestito (supporto VLAN, monitoraggio del traffico, mirror delle porte per la diagnostica); (d) moduli di alimentazione ridondanti. Selezionare uno switch gestito di livello enterprise che offra una matrice di commutazione non bloccante, un numero adeguato di porte ad alta velocità, funzioni di gestione del traffico e alimentatori ridondanti.
4. Segmentare la rete utilizzando VLAN per separare: (a) la VLAN di acquisizione dati (controller del microscopio e della telecamera, server di archiviazione); (b) la VLAN di calcolo (workstation e nodi cluster GPU); (c) la VLAN di gestione (accesso remoto, monitoraggio, amministrazione).
   NOTA: La segmentazione della rete riduce il traffico broadcast, migliora la sicurezza e consente la risoluzione dei problemi di ciascun sottosistema in modo indipendente.
5. Collegare la rete dell'installazione alla WAN istituzionale tramite una porta uplink dedicata sullo switch centrale. Un uplink da 1–10 Gbps verso la rete del campus è sufficiente per l'accesso remoto e il trasferimento esterno dei dati.
6. Coordinarsi con l'ufficio IT istituzionale per predisporre indirizzi IP statici, voci DNS e regole firewall appropriate per tutti i dispositivi accessibili dall'installazione (Figura 1).
7. Installare e etichettare tutti i cavi di rete. Utilizzare cavi diretti o cavi ottici attivi per connessioni a 10+ Gbps fino a 100 m (cavi Cat6A schermati funzionano anche per 10 Gbps fino a 100 m); utilizzare cavi in fibra pre-terminati (LC-LC o MTP) per collegamenti tra rack a 25+ Gbps.
8. Documentare completamente lo schema di cablaggio con un diagramma di rete che specifichi nomi dei dispositivi, indirizzi IP, assegnazione delle porte e appartenenza alle VLAN.
   NOTA: Fare riferimento alla Figura 2 per lo schema della topologia di rete minima consigliata per una piccola struttura di microscopia criogenica.

4. Progettazione e implementazione del server di archiviazione

1. Calcolare le esigenze di archiviazione prima dell'acquisto dell'hardware. Come riferimento: una singola sessione avanzata di microscopia elettronica criogenica genera 2–5 TB di dati grezzi al giorno.
2. Stimare le esigenze di archiviazione a lungo termine in base all'utilizzo previsto della struttura. Una struttura con 20 utenti che gestisce due microscopi può generare circa 2 PB di dati entro 3–6 mesi di funzionamento. Pianificare sia l'archiviazione dei dati grezzi (a breve termine, ad alta velocità) sia quella dei dati elaborati (a medio termine, volume maggiore), poiché i dataset elaborati sono spesso 10–20 volte più grandi dei dati grezzi originali.
3. Scegliere un'architettura di archiviazione affidabile. I server autonomi basati su ZFS rappresentano il punto di partenza consigliato per la maggior parte delle strutture, offrendo un rapporto costo-capacità vantaggioso, verifica integrata dell'integrità dei dati (checksum), configurazioni flessibili equivalenti al RAID (RAIDZ, RAIDZ2) e supporto per snapshot. I sistemi di file distribuiti in cluster (Gluster, Ceph, GPFS/IBM Spectrum Scale) possono offrire prestazioni e scalabilità superiori, ma richiedono più server fisici e una gestione più complessa.
4. Configurare pool di archiviazione ZFS. Configurazione iniziale consigliata: due vdev RAIDZ2 (ciascuno composto da 6–8 dischi rigidi SAS ad alta capacità, da 16–20 TB ciascuno), che forniscono circa il 60–70% di capacità utilizzabile con protezione contro due guasti simultanei dei dischi.
5. Aggiungere un vdev dedicato di cache di scrittura SSD (L2ARC) utilizzando 2–4 SSD NVMe per accelerare le prestazioni di lettura casuale durante i lavori di elaborazione attivi.
   NOTA: Non utilizzare dischi SATA per uso consumer negli array di archiviazione produttivi. Sono essenziali dischi enterprise SAS o NL-SAS con capacità di carico di lavoro certificata (ad esempio, 550 TB/anno) per gestire i modelli di I/O casuale sostenuto dei flussi di lavoro della microscopia elettronica criogenica.
6. Configurare esportazioni NFS (per client Linux) e condivisioni SMB (per client Windows) sul server di archiviazione ZFS. Montare la condivisione dati principale su tutti i nodi di calcolo GPU e sulla workstation del controller della telecamera per consentire un accesso diretto ai dati senza copie intermedie.
7. Stabilire una politica di conservazione e ciclo di vita dei dati. Definire: (a) periodo di conservazione dei filmati grezzi (tipicamente 3–6 mesi dopo l'acquisizione); (b) conservazione dei micrografici corretti per movimento; (c) conservazione dei dataset elaborati finali (indefinita fino alla pubblicazione); (d) procedura di archiviazione per i progetti completati.
8. Implementare avvisi automatici quando l'utilizzo dell'archiviazione supera il 70% della capacità, per consentire l'acquisto tempestivo di ulteriore spazio di archiviazione.
   NOTA: L'archiviazione è il costo più frequentemente sottovalutato nella pianificazione di una struttura per microscopia elettronica criogenica. Non confondere l'approvazione per l'acquisto del microscopio con un finanziamento adeguato per l'archiviazione. L'acquisto di sistemi di archiviazione deve essere pianificato in parallelo all'installazione dello strumento, non dopo l'inizio dell'acquisizione dati.

5. Infrastruttura di calcolo GPU

1. Determinare i requisiti computazionali in base al throughput previsto. Per un singolo microscopio che genera da 3.000 a 5.000 micrografie per sessione di 24 ore, sono necessari almeno due nodi di calcolo, ciascuno dotato di 4 schede GPU NVIDIA (architettura Maxwell o successiva, con almeno 11 GB di VRAM, ad esempio RTX 3090, RTX 4090 o A100), per sostenere la pre-elaborazione in tempo reale alla velocità di acquisizione.
2. Per impianti più grandi o flussi di lavoro di cryo-ET con elevati volumi di serie di inclinazione, prevedere nodi aggiuntivi.
3. Specificare l'hardware dei nodi di calcolo GPU. Ogni nodo dovrebbe includere: (a) 4 GPU NVIDIA con supporto CUDA (minimo 24 GB di VRAM per GPU per i raffinamenti 3D in CryoSPARC e RELION); (b) una CPU ad alto numero di core (AMD EPYC o Intel Xeon, ≥32 core) per supportare passaggi paralleli dipendenti dalla CPU (stima del CTF, I/O dei file); (c) ≥256 GB di RAM di sistema; (d) uno spazio locale di scratch su SSD NVMe da 2–4 TB per i dati intermedi dei lavori attivi; (e) una scheda di interfaccia di rete (NIC) da 10/25 Gbps; (f) spazio di archiviazione locale sufficiente per i set di dati in elaborazione (tipicamente un volume RAID). NOTA: Le GPU di fascia consumer (RTX 4090) possono offrire prestazioni paragonabili a quelle delle alternative aziendali (A100) a un costo significativamente inferiore per carichi di lavoro di cryo-EM. Valutare i benchmark specifici per CryoSPARC e RELION, poiché i loro schemi di accesso alla memoria favoriscono GPU con elevata larghezza di banda della memoria.
4. Installare su ogni nodo di calcolo il pacchetto di driver NVIDIA, il toolkit CUDA (versione compatibile con CryoSPARC e RELION) e cuDNN. Utilizzare uno strumento di gestione della configurazione per standardizzare gli ambienti software su tutti i nodi e semplificare gli aggiornamenti futuri.
5. Distribuire CryoSPARC in configurazione autonoma o in cluster. Per un impianto multi-nodo, installare CryoSPARC-master su un nodo principale dedicato e CryoSPARC-worker su ciascun nodo di calcolo GPU.
6. Configurare la pianificazione dei lavori in modo da consentire a più utenti di inviare lavori di elaborazione in parallelo. Seguire la documentazione ufficiale dell'architettura di CryoSPARC per i requisiti minimi di sistema e la configurazione di rete.
7. Installare RELION accanto alla piattaforma principale di elaborazione per offrire agli utenti entrambi gli ecosistemi di elaborazione. Configurare il software per utilizzare i nodi di calcolo locali tramite un pianificatore (SLURM o PBS/Torque).
8. Installare strumenti ausiliari: MotionCor2 (correzione del movimento), CTFFIND4 e Gctf (stima del CTF), TOPAZ (selezione di particelle basata su apprendimento automatico), crYOLO (selettore di particelle basato su reti neurali) e cryoDRGN (analisi dell'eterogeneità). Fare riferimento alla Tabella 3 per una panoramica dei pacchetti software disponibili per SPA, cryo-ET, STA e microED. 
9. Utilizzare la distribuzione del consorzio SBGrid o la gestione software basata su container (Singularity/Apptainer per ambienti HPC; Docker per workstation) per mantenere ambienti software riproducibili e con versioni controllate.
   NOTA: SBGrid fornisce versioni precompilate e validate di tutti i principali strumenti software per cryo-EM, con gestione automatica degli aggiornamenti per istituzioni accademiche.

6. Infrastruttura per l'accesso remoto

1. Stabilire l'accesso remoto basato su VPN come punto di ingresso principale e sicuro per tutti gli utenti e il personale fuori sede. Collaborare con l'ufficio IT istituzionale per configurare un profilo o un tunnel VPN specifico per la struttura, che consenta l'accesso alla rete di calcolo e archiviazione della struttura senza esporre i dispositivi a Internet pubblico.
2. Implementare l'autenticazione a due fattori (2FA) su tutti i punti di accesso remoto (Figura 2).
3. Installare un software per desktop remoto per accedere graficamente ai controller del microscopio e alle workstation GPU. Opzioni consigliate: (a) TeamViewer (commerciale, multipiattaforma, attraversa NAT—adatto per l'accesso ai controller del microscopio); (b) NoMachine (commerciale, multipiattaforma, supporta il reindirizzamento grafico OpenGL 3D—consigliato per workstation GPU che eseguono strumenti di visualizzazione); (c) TurboVNC con VirtualGL (open source, solo Linux, supporta la resa remota 3D).
   NOTA: Molti strumenti di visualizzazione per microscopia criogenica utilizzano OpenGL per la resa 3D. Il reindirizzamento X11 standard non supporta OpenGL con accelerazione hardware. Utilizzare NoMachine o VirtualGL/TurboVNC per queste applicazioni.
4. Configurare l'accesso remoto al software di acquisizione dati del microscopio. Utilizzare Leginon o SerialEM per l'operazione remota tramite la VPN istituzionale. Il software di acquisizione del microscopio può essere accessibile da remoto attraverso un'applicazione desktop remoto approvata.
5. Verificare la connettività remota da posizioni fuori sede rappresentative (reti domestiche, istituzioni collaboratrici) prima di avviare le operazioni per gli utenti (Tabella 4).
6. Configurare una dashboard web per il monitoraggio della struttura, in modo che personale e utenti possano controllare a distanza lo stato della raccolta dati, gli output del preelaborazione, l'utilizzo dello spazio di archiviazione e lo stato delle code di calcolo. Leginon include un'interfaccia web integrata per il monitoraggio.
7. Per il flusso di lavoro CryoSPARC, configurare Grafana o una dashboard web personalizzata alimentata dagli output dei log della pipeline e da strumenti di monitoraggio del sistema (Prometheus, node_exporter).
8. Stabilire un meccanismo di consegna dati per gli utenti esterni. Configurare un servizio di trasferimento dati autenticato, come Globus Connect Server, sullo storage della struttura.
9. Per gli utenti privi di accesso a Globus, predisporre procedure per la spedizione di dischi rigidi USB con checksum documentati. È necessaria una connessione Internet in upload da 10 Gbps per consentire il download diretto pratico di dataset di diverse TB da parte di utenti esterni.

7. Flusso di lavoro per l'elaborazione dei dati in tempo reale: implementazione

1. Configurare preventivamente il percorso del flusso di dati prima di ogni sessione di raccolta dati. Verificare che: (a) il controller della telecamera scriva direttamente i filmati grezzi sulla memoria ad alte prestazioni montata NFS del laboratorio; (b) la condivisione NFS sia montata e accessibile da tutti i nodi di calcolo GPU; (c) sia disponibile capacità di archiviazione libera sufficiente per la sessione prevista (minimo 5 TB liberi per una sessione SPA di 24 h); (d) i nodi di calcolo GPU siano disponibili e che non ci siano lavori a lunga durata che competano per le risorse.
2. Configurare una correzione di riferimento del guadagno. Prima di ogni sessione, acquisire un'immagine di riferimento del guadagno come specificato dal produttore del rivelatore (tipicamente un'esposizione a fascio vuoto su un'area vuota della griglia).
3. Posizionare il file di riferimento del guadagno nella directory di input designata per la pre-elaborazione. Tutti i software di correzione del movimento (MotionCor2, l'implementazione integrata di RELION) applicheranno automaticamente questo riferimento se correttamente configurati.
4. Avviare la pipeline di pre-elaborazione in tempo reale utilizzando CryoSPARC-Live (preferito per la visualizzazione in tempo reale). La pipeline deve essere avviata non appena i primi filmati compaiono nella directory di output—tipicamente entro i primi 5–10 minuti della raccolta dati automatizzata.
   NOTA: CryoSPARC-Live continua a monitorare una directory designata alla ricerca di nuovi file video ed elabora i file man mano che arrivano. La differenza principale è che CryoSPARC-Live fornisce un'interfaccia web interattiva in tempo reale per il monitoraggio.
5. Flusso di lavoro di CryoSPARC-Live
   1. Nell'interfaccia web, accedere a un progetto nuovo o esistente e creare una nuova sessione live^11,36.
   2. Configurare la sorgente di input: specificare il percorso della directory in cui scrive il controller della telecamera (la "cartella di monitoraggio"), il modello di file che corrisponde ai filmati grezzi (ad esempio, *.tif, *.mrc o *.eer per dati Falcon 4i in formato EER) e il percorso del file di riferimento del guadagno.
   3. Impostare i parametri di correzione del movimento: numero di fotogrammi da utilizzare, correzione del movimento basata su porzioni (consigliato: 5x5 porzioni), fattore di binning in uscita (tipicamente 1 per la raccolta dati vicina al limite di Nyquist; 2 per la selezione iniziale) e dose di elettroni per fotogramma (calcolata dalla dose totale e dal numero di fotogrammi).
   4. Impostare i parametri di stima della CTF: risoluzione minima e massima per l'adattamento (tipicamente 30 Å e 4 Å), intervallo di ricerca della defocalizzazione (0,5–5 µm consigliato per SPA) e astigmatismo massimo accettabile. Abilitare la stima della CTF per singolo tilt per dataset di criotomografia elettronica (cryo-ET).
   5. Configurare la selezione delle particelle: scegliere il metodo di selezione (selettore a blob per le sessioni iniziali; selettore basato su modello dopo la disponibilità delle prime buone classi 2D; selettore TOPAZ per campioni difficili). Impostare il diametro atteso delle particelle e la distanza minima/massima tra le particelle.
   6. Per ridurre sostanzialmente i requisiti di archiviazione, il carico di trasferimento dati e i costi computazionali, si raccomanda il ritaglio in Fourier durante l'estrazione delle particelle con un fattore di 4 (ottenendo una dimensione fisica del pixel 4 volte maggiore). Per la valutazione routinaria della qualità dei dati, risoluzioni intermedie di 3–5 Å sono generalmente sufficienti durante l'elaborazione in tempo reale.
   7. Abilitare la classificazione 2D all'interno della sessione live. Impostare il numero di classi 2D (tipicamente 50–200), la dimensione del batch per aggiornamenti incrementali (200–500 particelle) e il limite di risoluzione per la classificazione (6–8 Å per la valutazione iniziale).
   8. Avviare la sessione live. Monitorare la dashboard in tempo reale per: numero e frequenza di arrivo dei filmati, qualità della correzione del movimento (movimento totale per filmato—rigettare i filmati con movimento totale >30 Å come regola generale), qualità dell'adattamento della CTF (rigettare micrografie con risoluzione di adattamento della CTF >6–8 Å), resa di particelle per micrografia e qualità in evoluzione delle medie delle classi 2D.
   9. Impostare soglie di accettazione per la cura automatica. Nel pannello Filtri, definire criteri di rigetto per il movimento (soglia di movimento totale), qualità della CTF (soglia di risoluzione di adattamento) e intervallo di defocalizzazione (escludere micrografie fortemente sotto- o sovra-focalizzate). Le particelle curate vengono automaticamente indirizzate al successivo lavoro di classificazione 2D.

8. Controllo qualità in tempo reale e feedback durante la raccolta dati

1. Monitorare continuamente le statistiche CTF durante tutta la sessione. Riportare in grafico i valori di defocus per ciascuna microfotografia: la distribuzione dovrebbe concentrarsi entro l'intervallo di defocus previsto (tipicamente −0,5 a −3.0 µm per SPA).
2. Una deriva sistematica verso valori di defocus più elevati può indicare una deriva dello stadio o una miscalibrazione dell'altezza eucentrica. Informare immediatamente il personale della struttura se la risoluzione dell'adattamento della CTF degrada al di sotto di 6 Å, poiché ciò indica generalmente una contaminazione da ghiaccio, un'instabilità del fascio o una deriva del fuoco che richiedono un intervento.
3. Monitorare gli output della correzione del movimento. Il movimento totale all'interno del frame per ogni filmato dovrebbe essere inferiore a 10–30 Å per dati di alta qualità. È previsto un movimento elevato sistematico nei primi fotogrammi, che viene corretto; tuttavia, un movimento elevato che persiste per tutta la durata del filmato (>40 Å totale) può indicare instabilità del palchetto meccanico o accumulo di carica sul campione e deve essere investigato.
4. Esaminare le medie delle classi 2D man mano che vengono aggiornate durante la sessione (ogni 30–60 min). Indici di un dataset di alta qualità: medie delle classi che mostrano caratteristiche della struttura secondaria, multiple vedute distinte della particella e assenza di artefatti da impilamento o aggregazione.
5. Monitorare gli indicatori che richiedono intervento: tutte le particelle classificate in classi informi definite "junk" (indicative di scarsa qualità del campione o del ghiaccio), assenza completa di alcune proiezioni (indicativa di orientamento preferenziale, che potrebbe richiedere un'ottimizzazione della griglia) o rese estremamente basse di particelle per micrografia.
6. Registra tutte le osservazioni in un registro strutturato della sessione. Registrare: orari di inizio e fine della sessione, impostazioni del microscopio e della telecamera, riepilogo statistico in tempo reale (numero totale di filmati raccolti, frazione superata il filtro CTF, frazione superata il filtro per il movimento, numero totale di particelle selezionate, valutazione delle classi 2D) e qualsiasi intervento effettuato. Questo registro è essenziale per la valutazione retrospettiva della qualità e per la relazione sulle prestazioni della struttura.
7. Al termine della sessione, generare un rapporto riassuntivo sulla qualità dei dati. La piattaforma di elaborazione in tempo reale esporta automaticamente un riepilogo della sessione.
   NOTA: Un'altra opzione per generare riepiloghi e report consiste nell'utilizzare strumenti di intelligenza artificiale come Vitreum. Nella UCSC Biomolecular Cryo-EM Facility, la piattaforma Vitreum viene impiegata per gestire i flussi di lavoro di laboratorio e la documentazione sperimentale. Vitreum registra i passaggi sperimentali man mano che vengono eseguiti, applica vincoli a livello di protocollo, verifica l'esecuzione dei flussi di lavoro rispetto a criteri di qualità predefiniti e fornisce una tracciabilità verificabile delle attività di laboratorio. Integrando le operazioni di laboratorio con l'infrastruttura computazionale e di gestione dei dati della struttura, la piattaforma riduce al minimo la registrazione manuale, migliora la riproducibilità, facilita la comunicazione tra il personale della struttura e gli utenti e consente un monitoraggio coerente degli esperimenti, dalla preparazione del campione fino alla raccolta dati e all'analisi computazionale successiva.

9. Pipeline di elaborazione dei dati post-prelievo

1. Al termine della preelaborazione in tempo reale, lo stack di particelle raggruppate e curato viene esportato insieme ai filmati preelaborati e curati.
2. Staccare il progetto CryoSPARC dalla workstation principale e riattaccarlo a un'altra workstation condivisa e accessibile da remoto. Questo consente un rapido scaricamento e riutilizzo per iniziare la successiva sessione di acquisizione dati.
   NOTA: Una tipica raccolta dati può variare da 1 a 2 giorni, facilmente monitorabile tramite CryoSPARC-Live. Tuttavia, i passaggi di elaborazione tridimensionale possono richiedere settimane o mesi, giustificando così il trasferimento del progetto tra workstation e server di archiviazione.
3. In CryoSPARC, esportare le particelle raggruppate curate dalla sessione attiva in un progetto standard per l'elaborazione 3D offline³⁶. 
4. Eseguire una ricostruzione tridimensionale ab initio. In CryoSPARC, utilizzare il processo di Ricostruzione Ab Initio (si consigliano da 3 a 5 modelli iniziali per campioni eterogenei). Generare da 1 a 4 modelli iniziali per valutare l'eterogeneità strutturale.
5. Una volta che i valori ricostruiti sono soddisfacenti, rieseguire l'estrazione delle particelle non raggruppate per migliorare la risoluzione complessiva.
6. Eseguire un'affinamento 3D mediante affinamento eterogeneo (se si sospettano conformazioni o classi multiple), seguito da un'affinamento omogeneo per la migliore classe. In CryoSPARC, utilizzare l'affinamento eterogeneo seguito da affinamento non uniforme. 
7. Applicare la lucidatura bayesiana in RELION¹³ oppure utilizzare la correzione del movimento per particella e il perfezionamento della CTF (job di perfezionamento della CTF in CryoSPARC) per migliorare il segnale per particella, tenendo conto del movimento indotto dal fascio e della defocalizzazione per particella, a seconda delle preferenze dell'utente. Questo passaggio migliora di routine la risoluzione della mappa finale di 0,2–0,5 ÅInoltre, la correzione del movimento basata su riferimento (RBMC) in CryoSPARC può rappresentare un'opzione utile per migliorare la risoluzione e la qualità della mappa.
8. Convalidare la mappa finale utilizzando il procedimento standard dorato della correlazione tra gusci di Fourier (Fourier shell correlation, FSC). Suddividere lo stack di particelle in due insiemi indipendenti, affinarli separatamente e calcolare la FSC tra le due mappe parziali. Riportare la risoluzione finale al valore di FSC = 0,143.
9. Calcolare il FSC tra mappa e modello (FSC-Q) e i punteggi Q dopo l'adattamento del modello atomico come metriche indipendenti di validazione³⁷.
10. Eseguire la costruzione e la validazione del modello atomico. Utilizzare ModelAngelo per la costruzione automatica *de novo* del modello a partire dalla mappa di densità²⁰Affinare il modello utilizzando l'affinamento nello spazio reale di PHENIX e convalidarlo con MolProbity.
11. Utilizzare COOT³⁵ dopo aver generato il modello iniziale per visualizzare la mappa di densità, adattare o regolare le coordinate atomiche, correggere gli errori di modellizzazione, costruire le regioni mancanti e ottimizzare le strutture di proteine, acidi nucleici o ligandi. Consente la modifica interattiva di residui, conformazioni delle catene laterali, strutture secondarie e assegnazioni di sequenza, seguita da un affinamento nello spazio reale per migliorare la concordanza tra il modello atomico e la densità sperimentale.
12. Infine, depositare il modello atomico finale nel Protein Data Bank (PDB), la mappa di densità nell'Electron Microscopy Data Bank (EMDB) e i dati grezzi o preelaborati nell'Electron Microscopy Public Image Archive (EMPIAR).

Risultati

A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:

Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.

On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.

2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.

Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.

Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.

Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.

Manufacturer	Model	kVmax	Electron Source	Compatible DEDs	Primary Applications	Strengths	Limitations/Notes
Thermo Fisher Scientific	Krios G4/Krios 5	300 kV	XFEG/CFEG	Falcon 4i, Falcon 3EC, Gatan K3/K2	SPA, cryo-ET/STA, MicroED	Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å)	Highest cost, infrastructure demanding
	Glacios 2	200 kV	XFEG	Falcon 4i, Falcon 4, Gatan K3	SPA, cryo-ET, MicroED	Strong performance at lower cost, compact footprint, high accessibility	Lower ultimate resolution vs 300 kV
	Talos Arctica	200 kV	XFEG	Falcon 3, Falcon 4, Gatan K2/K3	SPA, cryo-ET	Proven, robust, widely adopted	Older generation, less automation
	Talos L120C	120 kV	LaB6	Ceta CMOS (limited DED)	Screening, MicroED (limited)	Cost-effective, training/screening	Not suitable for high-resolution SPA
JEOL	CRYO ARM 300 II (JEM-Z300FSC)	300 kV	CFEG	Gatan K3/K2, Direct Electron DE64	SPA, cryo-ET/STA, MicroED	Cold FEG (high coherence), top-tier resolution, strong optics	Less integrated ecosystem
	CRYO ARM 200	200 kV	CFEG	Gatan K3/K2, DE64	SPA, cryo-ET	Excellent performance-cost ratio, high stability	Fewer turnkey automation tools
	JEM-3200FSC	300 kV	FEG	Gatan K2/K3, DE20	SPA, cryo-ET	Large installed base, proven	Legacy system, aging support
Hitachi High-Tech	HF8300	300 kV	FEG	Gatan K3/K2, DE64 (custom integration)	SPA, cryo-ET	High-voltage capability, flexible integration	Limited adoption in structural biology
	HT7800	120 kV	LaB6	CMOS, limited DED	Screening, MicroED	Reliable screening scope	Not suitable for high-resolution cryoEM
	SU9000 (TEM/STEM)	200 kV	CFEG	Limited cryo-compatible DEDs	Niche cryo, materials	Advanced optics	Not widely used for SPA/ET

Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kV_max), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.

Detector	Vendor	Key Features	Typical Pairing	Best Use Case
Falcon 4i	Thermo Fisher Scientific	EER mode, very high frame rate, high DQE	Krios, Glacios	High-throughput SPA, cryo-ET
Gatan K3	Gatan (AMETEK)	Counting mode, large FOV, super-resolution	JEOL + Thermo	High-resolution SPA (standard)
Gatan K2	Gatan	Previous-gen counting detector	Legacy systems	Established pipelines
DE64	Direct Electron	Large sensor, high throughput	JEOL, selected Thermo	Cryo-ET, large field-of-view
Apollo	Direct Electron	High frame rate, high throughput	Krios, Glacios, JEOLs	SPA and microED

Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.

Software	Main Function	Key Features	Reference
RELION	End-to-end SPA processing	Bayesian refinement, classification, CTF refinement	7, 12, 13
cryoSPARC	End-to-end SPA	Fast GPU pipelines, ab initio reconstruction	11
EMAN2	Image processing suite	Reconstruction, heterogeneity analysis (e2gmm)	14
cisTEM	SPA processing	User-friendly GUI, refinement and validation	15
SPHIRE	SPA (SPARX-based)	High-resolution refinement workflows	16
cryoDRGN	Heterogeneity analysis	Deep learning latent space reconstruction	17
Topaz	Particle picking	Deep learning-based picking	18
crYOLO	Particle picking	Real-time neural network picking	16
Warp	Preprocessing	Motion correction, CTF estimation, real-time processing	19
Model Angelo	Model building	Automated model building from maps	20
cryoET + STA
Software	Main Function	Key Features	Reference
IMOD	Tilt-series alignment & reconstruction	Gold standard for tomogram reconstruction	21
Dynamo	STA	Geometry-based particle picking, flexible workflows	22
emClarity	STA refinement	High-resolution STA, template matching	23
RELION (ET module)	STA refinement	Bayesian STA, integration with SPA workflows	24
EMAN2 (SPT)	STA	Subtomogram refinement tools	14
Warp/M	Preprocessing + STA	Real-time tomographic preprocessing	19
AreTomo	Tomogram reconstruction	Fast alignment and reconstruction	25
PEET	STA	Subtomogram averaging (IMOD-based)	26
PyTom	STA	Template matching, classification	27
Tomo3D	Reconstruction	Fast GPU tomogram reconstruction	28
crYOLO (3D)	Particle picking	ML-based picking in tomograms	16
AITom	AI-based analysis	Deep learning for segmentation and classification	29
MicroED
Software	Main Function	Key Features	Reference
DIALS	Diffraction processing	Integration of diffraction data	30
XDS	Data processing	Indexing and integration of diffraction data	31
MOSFLM	Data processing	Crystallography indexing	32
SHELX	Structure solution	Phasing and refinement	33
Phenix	Structure refinement	Automated model building	34
COOT	Model building	Manual model correction	35

Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.

Category	Software	Type	Primary Function	Key Features / Role in Facility
Operating System	Linux (Ubuntu, CentOS/Rocky)	OS	Core compute environment	HPC standard, GPU support, scripting, cluster deployment
Operating System	Windows	OS	User interface / workstation OS	Compatibility with vendor software, remote desktop access
File System	ZFS	File system	Data storage & integrity	Snapshots, redundancy, data integrity (checksums), scalable storage
Network File Sharing	NFS	Protocol	Linux-based file sharing	High-performance sharing across compute nodes
Network File Sharing	SMB (CIFS)	Protocol	Cross-platform file sharing	Windows–Linux interoperability
Remote Access	Microsoft Remote Desktop (RDP)	Remote access	GUI-based remote control	Native Windows remote access
Remote Access	NoMachine	Remote access	High-performance remote desktop	Fast GPU-enabled visualization, widely used in cryoEM
Remote Access	TeamViewer	Remote access	Remote support/access	Easy setup, cross-platform support
Remote Access	VirtualGL + TurboVNC	Remote visualization	GPU-accelerated remote rendering	Essential for remote cryoSPARC/RELION visualization
GPU Computing	CUDA	Compute framework	GPU acceleration	Required for cryoSPARC, RELION, deep learning tools
Data Transfer	Globus	Data transfer	Secure large-scale transfer	High-speed, fault-tolerant data movement across institutions

Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.

Discussione

L'infrastruttura IT di un laboratorio di microscopia crioelettronica non è un accessorio secondario, ma un prerequisito operativo. I laboratori che iniziano la raccolta dati senza una capacità adeguata di archiviazione, rete ed elaborazione si trovano inevitabilmente di fronte alla scelta tra eliminare i dati grezzi, interrompere la raccolta dati o accettare ritardi di mesi nella determinazione della struttura. I protocolli descritti qui sono progettati per evitare tali esiti, garantendo che il supporto computazionale venga progettato, testato e validato prima della prima sessione utente.

Il principio più importante nella progettazione dell'IT per la microscopia crioelettronica è che la capacità di archiviazione e di rete deve essere dimensionata in base all'output dati del rivelatore, piuttosto che in base all'intuizione storica del progettista della struttura. In modalità EER, il rivelatore può scrivere da 8 a 12 GB per ogni serie di filmati; con circa 15 filmati al minuto durante una sessione di 24 ore, ciò produce approssimativamente da 2 a 5 TB di dati grezzi prima di qualsiasi compressione. Sebbene la compressione senza perdita in tempo reale (disponibile in CryoSPARC-Live) possa ridurre questo volume del 50–70%, la rete e l'archiviazione devono essere in grado di gestire la velocità di scrittura non compressa nel caso in cui la compressione venga disattivata o fallisca. È essenziale progettare in base alla capacità massima piuttosto che a quella media.

L'elaborazione in tempo reale rappresenta uno dei progressi più significativi nelle operazioni dei centri di microscopia crioelettronica negli ultimi anni. Prima della disponibilità di pipeline in tempo reale, il personale del centro non aveva alcun modo oggettivo di valutare la qualità dei dati fino a ore o giorni dopo l'acquisizione, quando ormai la sessione era terminata e la griglia del campione poteva essere già stata scartata. Con CryoSPARC-Live, medie di classi 2D che mostrano una struttura secondaria riconoscibile possono essere disponibili entro 2–4 ore dall'inizio della sessione, consentendo decisioni informate sulla selezione delle griglie, sull'aggiustamento dei parametri di acquisizione dei dati e sulla prosecuzione o interruzione della sessione. Questo ciclo di retroazione rappresenta forse il modo più diretto in cui l'infrastruttura informatica migliora i risultati scientifici.

Un limite noto del flusso di lavoro in tempo reale è la sua sensibilità agli errori di configurazione. Una dimensione dei pixel specificata in modo errato, un riferimento del guadagno scorretto o un valore di dose-per-fotogramma non corrispondente si propagheranno lungo tutta la pipeline, producendo metriche di qualità fuorvianti e pile di particelle corrotte. Raccomandiamo pertanto una checklist standardizzata da eseguire prima della sessione, che verifichi esplicitamente tutti i parametri di configurazione della pipeline prima dell'inizio della raccolta dati. Questa checklist dovrebbe essere considerata un documento critico per la sicurezza, analogo alle checklist pre-volo nell'ambito dell'aviazione, come descritto nella letteratura più ampia sulla gestione delle strutture di criomicroscopia elettronica.

La scelta tra CryoSPARC-Live e RELION dipende dalle priorità della struttura. La piattaforma di elaborazione in tempo reale offre un'interfaccia web in tempo reale superiore, un'integrazione più stretta tra gli ambienti di elaborazione in tempo reale e fuori linea e una configurazione più semplice per utenti non esperti. RELION offre un controllo più granulare sui parametri di elaborazione ed è la piattaforma preferita per gli utenti che richiedono opzioni algoritmiche specifiche (ad esempio, lucidatura bayesiana, strategie specifiche di classificazione 3D), rispetto alle strategie di classificazione 3D (ad esempio 3DVAR o classificazione 3D) presenti in CryoSPARC. Molte strutture implementano entrambe in parallelo, utilizzando CryoSPARC-Live per il monitoraggio in tempo reale e RELION per la determinazione finale della struttura.

L'infrastruttura per l'accesso remoto merita un'attenzione particolare. Per esperienza, la maggior parte dei problemi segnalati dagli utenti durante la raccolta dei dati deriva da malfunzionamenti dell'accesso remoto piuttosto che da problemi del microscopio o del rilevatore. Un accesso desktop remoto affidabile e a bassa latenza ai microscopi e alle postazioni di raccolta dati non è un lusso, ma rappresenta il mezzo principale attraverso cui la maggior parte degli utenti interagisce con la struttura. Investire in server desktop remoto configurati professionalmente, verificare la connettività da posizioni rappresentative degli utenti e documentare chiaramente la procedura di connessione avrà un impatto positivo sull'esperienza utente maggiore rispetto a molti altri investimenti hardware più costosi.

Infine, la politica di gestione dei dati deve essere stabilita e comunicata agli utenti prima dell'inizio delle operazioni della struttura. Gli utenti spesso sottovalutano le dimensioni dei propri set di dati e sopravvalutano la durata dell'allocazione di archiviazione. Una politica scritta chiara che specifichi i periodi di conservazione dei dati grezzi, le quote di dati per utente, le procedure di archiviazione e il recupero dei costi per superamenti della capacità protegge sia la struttura che i suoi utenti, e previene le crisi operative che si verificano quando lo spazio di archiviazione si esaurisce a metà sessione.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Krios 5	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/krios-5-cryo-tem.html	Microscopio elettronico a trasmissione
Krios G4	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/krios-g4-cryo-tem.html	Microscopio elettronico a trasmissione
Glacios	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/glacios-cryo-tem.html	Microscopio elettronico a trasmissione
Glacios 2	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/glacios-2-cryo-tem.html	Microscopio elettronico a trasmissione
Glacios 3	ThermoFisher Scientific	https://www.thermofisher.com/ (nuova generazione; la pagina del prodotto può variare in base alla regione)	Microscopio elettronico a trasmissione
Talos Arctica	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/talos-arctica.html	Microscopio elettronico a trasmissione
Talos L120C	ThermoFisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/microscopi-elettronici-a-trasmissione/talos-l120c.html	Microscopio elettronico a trasmissione
CRYO ARM 300 II (JEM-Z300FSC)	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm300ii.php	Microscopio elettronico a trasmissione
CRYO ARM 200	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm200.php	Microscopio elettronico a trasmissione
JEM-3200FSC	JEOL	https://www.jeol.com/products/scientific/tem/jem3200fsc.php	Microscopio elettronico a trasmissione
HF8300	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html	Microscopio elettronico a trasmissione
HT7800	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html	Microscopio elettronico a trasmissione
SU9000 (TEM/STEM)	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html	Microscopio elettronico a trasmissione
Falcon 4i	Thermo Fisher Scientific	https://www.thermofisher.com/it/it/home/microscopia-elettronica/prodotti/detettori-elettronici-diretti/falcon-4i.html	Rivelatore Diretto di Elettroni
Gatan K3	Gatan (AMETEK)	https://gatan.com/products/tem-cameras/k3-is-camera	Rivelatore Diretto di Elettroni
Gatan K2	Gatan	https://gatan.com/products/tem-cameras/k2-camera	Rivelatore Diretto di Elettroni
Apollo	Elettroni diretti	https://directelectron.com/apollo/	Rivelatore Diretto di Elettroni
DE64	Elettroni diretti	https://directelectron.com/de-64/	Rivelatore Diretto di Elettroni
RELION	MRC Laboratory of Molecular Biology (MRC-LMB), Università di Cambridge	https://relion.readthedocs.io	pacchetto software SPA
cryoSPARC	Structura Biotechnology	https://cryosparc.com	pacchetto software SPA
EMAN2	Baylor College of Medicine (sviluppato dal laboratorio di Steven Ludtke)	https://blake.bcm.edu/emanwiki/EMAN2	pacchetto software SPA
cisTEM	Consiglio Nazionale delle Ricerche del Canada (sviluppato da Tim Grant e colleghi)	https://cistem.org	pacchetto software SPA
SPHIRE	Istituto Max Planck di Fisiologia Molecolare e Baylor College of Medicine	https://sphire.mpg.de	pacchetto software SPA
cryoDRGN	Università di Princeton (sviluppato dal laboratorio di Ellen Zhong)	https://cryodrgn.cs.princeton.edu	pacchetto software SPA
Topaz	Harvard Medical School (sviluppato dal laboratorio di Travis Bepler)	https://github.com/tbepler/topaz	pacchetto software SPA
crYOLO	Istituto Max Planck di Biofisica	https://cryolo.readthedocs.io	pacchetto software SPA
Deformazione	MRC Laboratory of Molecular Biology (sviluppato da Dmitry Tegunov)	http://www.warpem.com	pacchetto software per cryo-ET e STA
ModelAngelo	MRC Laboratory of Molecular Biology	https://www.modelangelo.org	pacchetto software per cryo-ET e STA
IMOD	Università del Colorado a Boulder	https://bio3d.colorado.edu/imod	pacchetto software per cryo-ET e STA
Dynamo	Centro Nacional de Biotecnologíaía (CNB-CSIC)	https://www.dynamo-em.org	pacchetto software per cryo-ET e STA
emClarity	Università della California, San Francisco	https://github.com/StochasticAnalytics/emClarity	pacchetto software per cryo-ET e STA
RELION (modulo ET)	MRC Laboratory of Molecular Biology (MRC-LMB), Università di Cambridge	https://relion.readthedocs.io	pacchetto software per cryo-ET e STA
EMAN2 (SPT)	Baylor College of Medicine	https://blake.bcm.edu/emanwiki/EMAN2	pacchetto software per cryo-ET e STA
Deformazione/M	MRC Laboratory of Molecular Biology	https://warpem.github.io	pacchetto software per cryo-ET e STA
AreTomo	Università di Stanford (sviluppato dai gruppi di Fei Sun e Wah Chiu)	https://github.com/czimaginginstitute/AreTomo2	pacchetto software per cryo-ET e STA
PEET	Università del Colorado Boulder	https://bio3d.colorado.edu/PEET	pacchetto software per cryo-ET e STA
PyTom	Istituto Max Planck di Biochimica	https://pytom.org	pacchetto software per cryo-ET e STA
Tomo3D	Centro Nazionale Spagnolo di Biotecnologia (CNB-CSIC)	https://sites.google.com/site/3demimageprocessing/tomo3d	pacchetto software per cryo-ET e STA
crYOLO (3D)	Istituto Max Planck di Biofisica	https://cryolo.readthedocs.io	pacchetto software per cryo-ET e STA
AITom	Carnegie Mellon University	https://github.com/xulabs/aitom	pacchetto software per cryo-ET e STA
DIALS	Diamond Light Source e collaboratori	https://dials.github.io	pacchetto software microED
XDS	Istituto Max Planck per la Ricerca Medica (sviluppato da Wolfgang Kabsch)	https://xds.mr.mpg.de	pacchetto software microED
MOSFLM	MRC Laboratory of Molecular Biology (MRC-LMB), Università di Cambridge	https://www.mrc-lmb.cam.ac.uk/mosflm	pacchetto software microED
SHELX	Università di Göttingen (sviluppato da George M. Sheldrick)	https://shelx.uni-goettingen.de	pacchetto software microED
Phenix	Laboratorio Nazionale Lawrence Berkeley (Consorzio PHENIX)	https://phenix-online.org	pacchetto software microED
Coot	MRC Laboratory of Molecular Biology (MRC-LMB), Università di Cambridge	https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot	pacchetto software microED
Linux (Ubuntu, CentOS/Rocky)	Ubuntu: Canonical Ltd.; CentOS: Progetto CentOS; Rocky Linux: Rocky Enterprise Software Foundation (RESF)	https://ubuntu.com / https://www.centos.org (legacy) /  https://rockylinux.org	Sistema operativo
Windows	Microsoft	https://www.microsoft.com/windows	Sistema operativo
ZFS	Oracle Corporation (originariamente Sun Microsystems); OpenZFS mantenuto dalla comunità OpenZFS	https://openzfs.org	Sistema di file
NFS	Sun Microsystems (ora mantenuto come standard IETF)	https://www.rfc-editor.org/rfc/rfc8881	Protocollo
SMB (CIFS)	Microsoft	https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview	Protocollo
Microsoft Remote Desktop (RDP)	Microsoft	https://learn.microsoft.com/windows-server/remote/remote-desktop-services	Accesso remoto
NoMachine	NoMachine	https://www.nomachine.com	Accesso remoto
TeamViewer	TeamViewer SE	https://www.teamviewer.com	Accesso remoto
VirtualGL + TurboVNC	VirtualGL: Il progetto VirtualGL; TurboVNC: Il progetto TurboVNC	https://virtualgl.org e https://turbovnc.org	Accesso remoto
CUDA	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Struttura informatica