Het ontwerpen en exploiteren van een eigen cryo-elektronenmicroscopie-faciliteit met IT-infrastructuur en on-the-fly dataprocessing-pipelines

Samenvatting

Dit protocol biedt een praktisch kader voor het ontwerpen en beheren van de IT-infrastructuur van een eigen cryogene elektronenmicroscopie (cryo-EM) faciliteit. Het behandelt faciliteitsplanning, netwerkarchitectuur, opslag, GPU-computing, toegang op afstand en realtime gegevensverwerking, waardoor efficiënt beheer van multi-terabyte datasets mogelijk wordt terwijl schaalbare, duurzame en hoogwaardige cryo-EM-operaties worden gewaarborgd.

Samenvatting

Cryo-EM is een dominante methode geworden voor de structurele bepaling met hoge resolutie van biologische macromoleculen. Naarmate het aantal institutionele cryo-EM-faciliteiten wereldwijd toeneemt, is er een aanhoudende uitdaging ontstaan: de data-infrastructuur die nodig is om deze faciliteiten te ondersteunen, wordt routinematig ondergepland. Moderne cryo-EM-instrumenten in combinatie met direct electron detectors (DEDs) genereren tussen de 2 en 5 TB aan ruwe data per dag, en een faciliteit met 20 gebruikers kan in één operationeel jaar ongeveer 2 PB aan data verzamelen. Het verwerken van deze data vereist speciale GPU-rekenknopen, intern netwerken met hoge snelheid en robuuste strategieën voor langetermijvarchivering—waarvan alles op zijn plaats moet zijn voordat de dataverzameling begint. Dit protocol presenteert een geïntegreerd kader voor het IT- en computationele ontwerp van een eigen cryo-EM-faciliteit. We behandelen de fysieke vereisten van de faciliteit (ruimteontwerp, stroomvoorziening, koeling en trillingsisolatie), de selectie van apparatuur (microscopen, DEDs en ondersteunende instrumenten) en de volledige computationele stack: configuratie van netwerkschakelaars, selectie en dimensionering van opslagservers, voorziening van GPU-rekenknopen en de architectuur voor toegang op afstand. Vervolgens bieden we een gedetailleerd protocol voor het implementeren van on-the-fly dataprocesseringspijplijnen—waarbij motion correction, contrast transfer function (CTF) schatting, particle picking en 2D-classificatie in realtime tijdens de dataverzameling worden uitgevoerd—met gebruik van industriestandaard tools. Strategieën voor datatransfer voor externe gebruikers worden ook behandeld. Deze gids vult een kritisch gat in de literatuur en stelt onderzoekers en beheerders in staat om cryo-EM-faciliteiten te bouwen die vanaf dag één computationeel gereed zijn.

Inleiding

De resolutierevolutie van cryo-EM heeft de structurele biologie getransformeerd, waardoor visualisatie met atomaire resolutie van eiwitten, nucleïnezuren en macromoleculaire complexen mogelijk is geworden zonder dat kristallisatie vereist is^1,2. Drie technische vooruitgangstappen hebben deze transformatie aangestuurd: de ontwikkeling van DED's met hoge framerates, verbeteringen in de elektronenoptica en microscoopmechanica, en de optimalisatie van GPU-versnelde software voor beeldbewerking^3,4,5,6. Samen hebben deze vorderingen cryo-EM de voorkeursmethode gemaakt voor een groeiende gemeenschap van structurele biologen.

De vraag naar toegang tot cryo-EM heeft geleid tot aanzienlijke investeringen in zowel grote nationale centra als kleinere institutionele faciliteiten. Nationale centra—zoals NCCAT, S2C2, PNCC en MCCET in de VS, en eBIC, NeCEN en SciLifeLab in Europa^3,5,6—bieden toegang tot de meest geavanceerde instrumenten voor goedgekeurde projecten. Eigen faciliteiten vullen deze middelen aan door iteratief, projectspecifiek onderzoek te ondersteunen met kortere doorlooptijden en nauwere interactie tussen gebruikers en personeel. Het opzetten van een functionele eigen faciliteit vereist echter veel meer dan alleen de aankoop van een microscoop: de ondersteunende IT-infrastructuur is minstens zo cruciaal, en de ontoereikendheid hiervan is een belangrijke oorzaak van operationele mislukkingen in nieuwe faciliteiten⁶.

Een enkele high-end cryo-EM-sessie kan in 24 h 2–5 TB aan ruwe filmdatabestanden genereren. Met meerdere microscopen en gebruikers bereikt de datalast snel een petabyteschaal. Het verwerken van deze gegevens vereist GPU-versnelde pipelines die gelijktijdig met de gegevensverzameling operationeel moeten zijn^7,8. Vertragingen bij de voorbewerking betekenen vertraagde feedback over de datakwaliteit en verspilde instrumenttijd. Ondanks deze realiteit besteden de meeste gepubliceerde handleidingen over cryo-EM-faciliteitsbeheer minimale aandacht aan de IT-componenten, en geen enkele biedt een stapsgewijs operationeel protocol voor het opzetten en valideren van een volledige datainfrastructuur.

Dit protocol vult dat gat op. We beschrijven de fysieke en technische vereisten voor de bouw van de faciliteit, de selectiecriteria voor microscopen en detectoren, en — het belangrijkste — het ontwerp en de implementatie van de IT-backbone die een cryo-EM-faciliteit operationeel levensvatbaar maakt⁶. Er wordt bijzondere aandacht besteed aan on-the-fly dataprocessing: de geautomatiseerde, gelijktijdige preprocessering van gegevens tijdens de acquisitie, wat real-time kwaliteitscontrole mogelijk maakt, beslissingen over de acquisitie stuurt en de doorlooptijd na de sessie drastisch verkort^9,10,11. Door dit protocol te volgen, zijn faciliteitsontwikkelaars in staat om een volledige, geïntegreerde cryo-EM-operatie op te zetten die een brede wetenschappelijke gemeenschap op duurzame en efficiënte wijze bedient.

Protocol

Details van de apparatuur, software en materialen die gedurende dit protocol worden gebruikt, staan vermeld in de Tabel met Materialen.

1. Ontwerp van de fysieke faciliteit, personeel en planning van de infrastructuur

1. Voer een locatiebeoordeling uit. Selecteer een bouwlocatie die het volgende biedt: een trillingsgeïsoleerde vloer (omgevingsvibratieniveaus, idealiter < 1 µm/s RMS bij 1–100 Hz); magnetische veldstabiliteit (< 1 mG/m ruimtelijke gradiënt en < 0,1 mG/m temporele variatie voor 300 kV instrumenten); een stabiele kamertemperatuur (18–22 °C met < 0,5 °C fluctuatie); vochtigheidsbeheersing (40–60% RH); en een laag akoestisch geluidsniveau (<50 dB). Raadpleeg in een vroeg stadium van de planningsfase de site-vereisten van de microscoopfabrikant.
   OPMERKING: Het renoveren van een bestaande ruimte kan net zoveel kosten als nieuwbouw. Als vuistregel dient ongeveer 20% van de aanschafprijs van de microscoop te worden gereserveerd voor de voorbereiding van de ruimte.
2. Ontwerp de indeling van de faciliteit met een duidelijke ruimtelijke scheiding tussen functionele zones: (a) microscopieruimte(s) voor cryogene transmissie-elektronenmicroscopen (cryo-TEMs); (b) een voorbereidingsruimte voor monsters voor het hanteren en opslaan van grids; (c) een controllerruimte met waterkoelers, UPS-eenheden en koelsystemen voor de microscoop; en (d) een aparte serverruimte of datacenter voor opslag- en rekeninfrastructuur.
   OPMERKING: Houd de temperatuur in de controllerruimte te allen tijde onder de 26 °C en zorg voor dedicated reservevoeding en koeling. Temperatuurafwijkingen in de controllerruimte zijn een veelvoorkomende oorzaak van microscoopstilstand.
3. Plan de energie-infrastructuur. Installeer dedicated driefasige stroomcircuits voor high-end cryo-TEM. Sluit alle microscopen, camera's en serverapparatuur aan op de aangewezen beveiligde energie-infrastructuur. Coördineer met het facilitaire team van de instelling om een noodgenerator op te nemen die in staat is de werking van de microscoop en de stroom van het koelwater te handhaven tijdens stroomuitval.
   OPMERKING: Verschillende instrumenten binnen een cryo-EM-faciliteit hebben meer dan één dag nodig voor een veilige power cycle. Ongeplande stroomuitval kan gevoelige printplaten beschadigen en leiden tot het verlies van actieve gegevensverzamelsessies.
4. Installeer koelwatersystemen voor de elektronenmicroscoop en de bijbehorende hardware. Richt een reservekoelwatercircuit in met automatische failover. Bewaak de waterdoorstroomsnelheid, temperatuur en geleidbaarheid continu met behulp van het geïntegreerde monitoringsysteem van de microscoop of een dedicated sensorarray.
5. Installeer glasvezelkabeltrajecten van de microscopieruimte(s) naar de serverruimte tijdens de bouw of renovatie. Specificeer minimaal OM4 multimode of OS2 single-mode vezel, met voldoende reserve en gelabelde patchpanelen aan beide uiteinden.
   OPMERKING: Het vooraf installeren van glasvezel is aanzienlijk goedkoper dan het achteraf aanbrengen.
6. Wijs dedicated microscoopoperators of faciliteitswetenschappers aan voor het uitvoeren van instrumentonderhoud, gebruikersinstructies, planning, monsteroptimalisatie en ondersteuning bij gegevensverwerving. Wijs dedicated IT-personeel aan voor het beheren van de infrastructuur, netwerkprestaties, cybersecurity, gegevensback-up, software-implementatie, GPU-rekenbronnen en toegang voor externe gebruikers.
7. Bepaal de personeelsbehoefte op basis van het niveau van gebruikersondersteuning en de complexiteit van de computationele infrastructuur. In kleinere faciliteiten, zoals de UCSC Biomolecular cryo-EM Facility, kunnen deze verantwoordelijkheden worden gedeeld door een faciliteitsmanager met computationele expertise of gecentraliseerde institutionele IT-diensten; naarmate het aantal microscopen, gebruikers en jaarlijkse gegevensverzamelsessies echter toeneemt, wordt gespecialiseerd personeel steeds noodzakelijker.
8. Zorg voor dedicated IT-ondersteuning voor faciliteiten die meerdere cryo-TEMs exploiteren om ononderbroken gegevensverwerving, efficiënt gegevensbeheer en schaalbare rekenbronnen te garanderen. Investeer in een robuuste IT-infrastructuur en personeel in een vroeg stadium van de faciliteitsontwikkeling om operationele stilstand te minimaliseren, toekomstige uitbreiding te vereenvoudigen en een duurzaam kader te bieden dat in staat is groeiende gebruikersgemeenschappen en steeds data-intensievere cryo-EM-workflows te ondersteunen.

2. Selectie van microscoop en detector

1. Definieer de primaire wetenschappelijke missie van de faciliteit voordat u een microscoop selecteert. Houd rekening met: (a) of de primaire workflow single-particle analyse (SPA), cryo-elektronentomografie (cryo-ET), micro-elektrondiffractie (microED) of een combinatie zal zijn; (b) de verwachte omvang van de gebruikersgroep en de diversiteit aan projecten; (c) budgetbeperkingen voor zowel de aanschaf als de doorlopende servicecontracten.
2. Evalueer beschikbare cryo-TEM-platforms op basis van de beoogde toepassingen. Overweeg 300 kV-instrumenten voor hoge-resolutie SPA en subtomogram averaging (STA). Overweeg 200 kV-instrumenten voor screening en dataverzameling met gemiddelde resolutie. Evalueer 100–120 kV voor een voordeliger instappunt met screeningmogelijkheden (samengevat in Tabel 1).
   OPMERKING: Specificatiebladen wijzigen regelmatig. Vraag altijd actuele configuratiedetails en prijzen rechtstreeks op bij de fabrikant voordat u definitieve beslissingen over de apparatuur neemt.
3. Selecteer een DED die is afgestemd op de microscoop en de toepassing. Voor hoge-resolutie SPA op instrumenten van Thermo Fisher Scientific (TFS) is de Falcon 4i momenteel de primaire optie voor de Krios- en Glacios-series.
4. Voor JEOL CryoARM-instrumenten biedt de Gatan K3 uitstekende gevoeligheid en framerates. Bevestig voor faciliteiten die zich richten op zowel SPA als microED de compatibiliteit van de detector met modi voor de verzameling van elektrondiffractiegegevens (Tabel 2).
   OPMERKING: De DED is een van de duurste componenten van de faciliteit en heeft een aanzienlijke invloed op de datakwaliteit en de opslagvereisten. De Electron Event Register (EER)-modus produceert bijvoorbeeld aanzienlijk grotere raw-bestanden dan conventionele gecomprimeerde formaten, waardoor proportioneel meer opslagcapaciteit en netwerkbandbreedte vereist zijn.
5. Evalueer de rol van een energiefilter bij het selecteren van een cryo-EM-instrumentconfiguratie, aangezien dit de beeldkwaliteit, de keuze van de detector en de algehele systeemprestaties aanzienlijk kan beïnvloeden. Door inelastisch verstrooide elektronen te verwijderen, verbeteren energiefilters het contrast en de signaal-ruisverhouding, wat bijzonder gunstig is voor uitdagende monsters en toepassingen zoals hoge-resolutie SPA (gunstig), cryo-ET (cruciaal) en microED (gunstig).
6. Evalueer beschikbare energiefiltersystemen tijdens de selectie van het instrument. Gatan Bioquantum- en Biocontinuum- of Thermo Fisher Scientific Selectris- en SelectrisX-systemen kosten doorgaans ongeveer US$0,3–1,5M, afhankelijk van de configuratie.
7. Evalueer de extra kosten en complexiteit die gepaard gaan met energiefilters in combinatie met de mogelijkheden van de detector, de doelen van de faciliteit en de verwachte gebruikersapplicaties voordat u de uiteindelijke instrumentconfiguratie selecteert.
8. Houd bij het berekenen van de totale aanschafkosten rekening met servicecontracten. Servicecontracten dekken gewoonlijk de microscoop, het energiefilter, de detector en het waterkoelingssysteem.
9. Onderhandel bij de aankoop van het instrument over de voorwaarden van het servicecontract—inclusief garanties voor responstijd en de beschikbaarheid van leenonderdelen. Budgetteer jaarlijks 8–15% van de aanschafprijs van het instrument voor de servicecoverage.

3. Ontwerp en implementatie van de netwerkarchitectuur

1. Ontwerp het interne netwerk van de faciliteit rondom een centrale high-speed switch. Verbind alle apparaten die gegevens genereren en consumeren rechtstreeks met deze switch op de hoogst ondersteunde snelheid: microscoopcontroller, cameracontroller (vaak een apart werkstation), opslagservers en GPU-rekennodes.
2. Zorg voor een verbinding van minimaal 10 Gbps voor elk apparaat. Voorzie 25 Gbps of snellere uplinks tussen de switch en de opslag- en rekennodes waar het budget dat toelaat.
   OPMERKING: Bij 1 Gbps zou het overdragen van 20 TB aan ruwe gegevens 2–3 dagen duren. Bij 10 Gbps duurt dezelfde overdracht 5–6 h. Bij 25 Gbps duurt dit ongeveer 2 h. De netsnelheid bepaalt direct of on-the-fly verwerking gelijke tred kan houden met de gegevensacquisitie.
3. Specificeer de centrale switch. Vereisten: (a) non-blocking switching fabric op volledige lijnsnelheid; (b) voldoende SFP+ of QSFP-poorten voor alle apparaten in de faciliteit; (c) beheerde switch-functionaliteit (VLAN-ondersteuning, verkeersmonitoring, port mirroring voor diagnostiek); (d) redundante voedingseenheden. Selecteer een beheerde switch van enterprise-grade die een nonblocking switching fabric, voldoende high-speed poorten, verkeersbeheerfuncties en redundante voedingen biedt.
4. Segmenteer het netwerk met behulp van VLAN's om het volgende te scheiden: (a) het VLAN voor gegevensacquisitie (microscoop- en cameracontrollers, opslagservers); (b) het reken-VLAN (GPU-werkstations en clusternodes); (c) het beheer-VLAN (toegang op afstand, monitoring, administratie).
   OPMERKING: Netwerksegmentatie vermindert broadcast-verkeer, verbetert de beveiliging en maakt onafhankelijke probleemoplossing van elk subsysteem mogelijk.
5. Verbind het netwerk van de faciliteit met het institutionele WAN via een toegewezen uplink-poort op de centrale switch. Een uplink van 1–10 Gbps naar het campusnetwerk is voldoende voor toegang op afstand en externe gegevensoverdracht.
6. Coördineer met de institutionele IT-afdeling voor het toewijzen van statische IP-adressen, DNS-vermeldingen en passende firewall-regels voor alle toegankelijke apparaten in de faciliteit (Figuur 1).
7. Installeer en label alle netwerkkabels. Gebruik direct attach cables of actieve optische kabels voor verbindingen van 10+ Gbps tot 100m (afgeschermde Cat6A werkt ook voor 10 Gbps tot 100m); gebruik voorgemonteerde glasvezelassemblages (LC-LC of MTP) voor inter-rack 25+ Gbps-verbindingen.
8. Documenteer het volledige bekabelingsschema met een netwerkdiagram waarin apparaatnamen, IP-adressen, poorttoewijzingen en VLAN-lidmaatschappen zijn gespecificeerd.
   OPMERKING: Raadpleeg Figuur 2 voor een schema van de aanbevolen minimale netwerktopologie voor een kleine cryo-EM-faciliteit.

4. Ontwerp en implementatie van de opslagserver

1. Bereken de opslagbehoeften voordat u hardware aanschaft. Als uitgangspunt: een enkele high-end cryo-EM-sessie genereert 2–5 TB aan ruwe data per dag.
2. Schat de langetermijnopslagbehoeften in op basis van het verwachte gebruik van de faciliteit. Een faciliteit met 20 gebruikers en twee microscopen kan in 3–6 maanden tijd ongeveer 2 PB aan data genereren. Plan zowel opslag voor ruwe data (kortetermijn, hoge doorvoer) als opslag voor bewerkte data (middellange termijn, groter volume), aangezien bewerkte datasets vaak 10–20x groter zijn dan de ruwe input.
3. Kies een robuuste opslagarchitectuur. Standalone ZFS-gebaseerde servers zijn het aanbevolen startpunt voor de meeste faciliteiten; deze bieden een gunstige kosten-capaciteitsverhouding, ingebouwde verificatie van data-integriteit (checksumming), flexibele RAID-equivalente configuraties (RAIDZ, RAIDZ2) en snapshot-ondersteuning. Geclusterde gedistribueerde bestandssystemen (Gluster, Ceph, GPFS/IBM Spectrum Scale) kunnen hogere prestaties en schaalbaarheid bieden, maar vereisen meerdere fysieke servers en een complexer beheer.
4. Configureer ZFS-opslagpools. Aanbevolen startconfiguratie: twee RAIDZ2 vdevs (elk bestaande uit 6–8 high-capacity SAS HDD's van elk 16–20 TB), wat ongeveer 60–70% bruikbare capaciteit biedt met bescherming tegen twee gelijktijdige schijffouten.
5. Voeg een dedicated SSD write-cache (L2ARC) vdev toe met 2–4 NVMe SSD's om de random read-prestaties voor actieve verwerkingstaken te versnellen.
   OPMERKING: Gebruik geen consumenten-SATA-schijven in productie-opslagarrays. Enterprise SAS- of NL-SAS-schijven met een gecertificeerde workload-capaciteit (bijv. 550 TB/jaar) zijn essentieel voor de aanhoudende random I/O-patronen van cryo-EM-workflows.
6. Configureer NFS-exports (voor Linux-clients) en SMB-shares (voor Windows-clients) op de ZFS-opslagserver. Mount de primaire datashare op alle GPU-computeknodes en op het camera-controller-workstation om directe data-toegang mogelijk te maken zonder tussenliggende kopieën.
7. Stel een beleid op voor databewaring en levenscyclus. Definieer: (a) de bewaartermijn van ruwe movies (doorgaans 3–6 maanden na collectie); (b) bewaring van motion-corrected micrografen; (c) bewaring van final processed datasets (onbeperkt tot publicatie); (d) de archiveringsprocedure voor voltooide projecten.
8. Implementeer geautomatiseerde waarschuwingen wanneer de opslagbenutting 70% van de capaciteit overschrijdt, om tijdige aanschaf van extra opslag mogelijk te maken.
   OPMERKING: Opslag is de meest onderschatte kostenpost bij de planning van een cryo-EM-faciliteit. Verwar de goedkeuring voor de aanschaf van de microscoop niet met adequate financiering voor opslag. De aanschaf van opslag moet parallel aan de installatie van het instrument worden gepland, niet nadat de dataverzameling is begonnen.

5. GPU-rekeninfrastructuur

1. Bepaal de rekenvereisten op basis van de verwachte doorvoer. Voor één microscoop die 3.000–5.000 micrografieën per sessie van 24 uur genereert, zijn minimaal twee rekenknopen vereist, elk uitgerust met 4x NVIDIA GPU-kaarten (Maxwell of nieuwer, 11+ GB VRAM, bijv. RTX 3090, RTX 4090 of A100), om on-the-fly voorbewerking op verzemsnelheid te ondersteunen.
2. Voor grotere faciliteiten of cryo-ET-workflows met een hoog volume aan tilt-series dienen aanvullende nodes te worden voorzien.
3. Specificeer de hardware van de GPU-rekenknoten. Elke knoop moet het volgende bevatten: (a) 4x NVIDIA GPU's met CUDA-ondersteuning (minimaal 24 GB VRAM per GPU voor CryoSPARC- en RELION 3D-verfijningen); (b) een CPU met een hoog aantal kernen (AMD EPYC of Intel Xeon, ≥32 kernen) ter ondersteuning van parallelle CPU-gebonden stappen (CTF-schatting, bestandsin-/uitvoer); (c) ≥256 GB systeem-RAM; (d) 2–4 TB NVMe SSD lokale scratchruimte voor actieve job-intermediairen; (e) een 10/25 Gbps netwerkinterfacekaart (NIC); (f) voldoende lokale opslag voor werkdataset (doorgaans een RAID-volume). OPMERKING: GPU's uit de consumentenklasse (RTX 4090) kunnen vergelijkbare prestaties bieden als alternatieven uit de enterprise-klasse (A100) tegen aanzienlijk lagere kosten voor cryo-EM-werklasten. Evalueer specifiek de benchmarks voor CryoSPARC en RELION, aangezien hun geheugenaccespatronen GPU's met een hoge geheugenbandbreedte bevoordelen.
4. Installeer de NVIDIA-driverstack, de CUDA-toolkit (een versie die compatibel is met CryoSPARC en RELION) en cuDNN op elke computeknoop. Gebruik een configuratiemanagementtool om de softwareomgevingen over alle knopen te standaardiseren en toekomstige updates te vereenvoudigen.
5. Implementeer CryoSPARC in een standalone- of clusterconfiguratie. Installeer voor een faciliteit met meerdere nodes CryoSPARC-master op een toegewezen head node en CryoSPARC-worker op elke GPU-computenode.
6. Configureer de jobplanning om meerdere gebruikers in staat te stellen gelijktijdig verwerkingstaken in te dienen. Raadpleeg de officiële documentatie over de CryoSPARC-architectuur voor de minimale systeemvereisten en netwerkconfiguratie.
7. Installeer RELION naast het primaire verwerkingsplatform om gebruikers toegang te bieden tot beide verwerkingsecosystemen. Configureer de software om de lokale compute-nodes te gebruiken via een scheduler (SLURM of PBS/Torque).
8. Installeer de aanvullende hulpprogramma's: MotionCor2 (bewegingscorrectie), CTFFIND4 en Gctf (CTF-schatting), TOPAZ (particle picking op basis van machine learning), crYOLO (neural-network particle picker) en cryoDRGN (heterogeniteitsanalyse). Raadpleeg Tabel 3 voor een overzicht van de beschikbare softwarepakketten voor SPA, cryo-ET, STA en microED. 
9. Gebruik de implementatie van het SBGrid-consortium of container-gebaseerd softwarebeheer (Singularity/Apptainer voor HPC-omgevingen; Docker voor werkstations) om reproduceerbare, geversioneerde softwareomgevingen te behouden.
   OPMERKING: SBGrid biedt vooraf gecompileerde en gevalideerde builds van alle belangrijke cryo-EM-softwaretools aan, inclusief geautomatiseerd updatebeheer voor academische instellingen.

6. Infrastructuur voor toegang op afstand

1. Richt VPN-gebaseerde remote toegang in als het primaire beveiligde toegangspunt voor alle externe gebruikers en medewerkers. Werk samen met de institutionele IT om een faciliteitspecifiek VPN-profiel of een tunnel te configureren die toegang verleent tot het reken- en opslagnetwerk van de faciliteit zonder dat apparaten worden blootgesteld aan het algemene publieke internet.
2. Implementeer tweestapverificatie (2FA) op alle remote toegangspunten (Figuur 2).
3. Installeer remote desktop-software voor grafische toegang tot microscoopcontrollers en GPU-workstations. Aanbevolen opties: (a) TeamViewer (commercieel, cross-platform, NAT-traversing — geschikt voor toegang tot microscoopcontrollers); (b) NoMachine (commercieel, cross-platform, ondersteunt OpenGL 3D-graphics forwarding — aanbevolen voor GPU-workstations waarop visualisatietools draaien); (c) TurboVNC met VirtualGL (open-source, alleen Linux, ondersteunt remote 3D-rendering).
   OPMERKING: Veel cryo-EM-visualisatietools maken gebruik van OpenGL voor 3D-rendering. Standaard X11-forwarding ondersteunt geen hardwareversnelde OpenGL. Gebruik NoMachine of VirtualGL/TurboVNC voor deze applicaties.
4. Configureer remote toegang tot de software voor data-acquisitie van de microscoop. Gebruik Leginon of SerialEM voor remote bediening via de institutionele VPN. De acquisitiesoftware van de microscoop kan remote worden benaderd via een goedgekeurde remote desktop-applicatie.
5. Test de remote connectiviteit vanaf representatieve externe locaties (thuisnetwerken, samenwerkende instellingen) voordat de gebruikersoperaties live gaan (Tabel 4).
6. Stel een webgebaseerd monitoringsdashboard van de faciliteit in, zodat medewerkers en gebruikers de status van de datacollectie, preprocessing-outputs, opslagbenutting en de status van de compute-wachtrij remote kunnen volgen. Leginon bevat een ingebouwde web-monitoringinterface.
7. Configureer voor de CryoSPARC-workflow Grafana of een aangepast webdashboard dat wordt gevoed door pipeline-logoutputs en systeemmonitoringtools (Prometheus, node_exporter).
8. Richt een mechanisme voor datalevering aan externe gebruikers in. Configureer een geauthentificeerde datatransferdienst, zoals Globus Connect Server, op de opslag van de faciliteit.
9. Bereid voor gebruikers zonder Globus-toegang procedures voor voor verzending van USB-harde schijven met gedocumenteerde checksums. Een internetverbinding van 10 Gbps is noodzakelijk voor een praktische directe download van multi-TB datasets door externe gebruikers.

7. Workflow voor on-the-fly gegevensverwerking: implementatie

1. Configure het gegevensstroompad vóór elke gegevensverzamelingssessie. Bevestig dat: (a) de cameracontroller raw movies direct naar de NFS-gemounte high-performance opslag van de faciliteit schrijft; (b) het NFS-gedeelte is gemount en toegankelijk op alle GPU-computeknooppunten; (c) er voldoende vrije opslagcapaciteit is voor de geplande sessie (minimaal 5 TB vrij voor een SPA-sessie van 24 u); (d) de GPU-computeknooppunten beschikbaar zijn en er geen langlopende taken zijn die strijden om resources.
2. Stel een gain-referentiecorrectie in. Verwerf vóór elke sessie een gain-referentiebeeld zoals gespecificeerd door de leverancier van de detector (meestal een blootstelling aan een lege straal op een leeg gebied van het grid).
3. Plaats het gain-referentiebestand in de aangewezen inputmap voor voorbewerking. Alle software voor bewegingscorrectie (MotionCor2, de eigen implementatie van RELION) zal deze referentie automatisch toepassen indien correct geconfigureerd.
4. Start de on-the-fly voorbewerkingspipeline met behulp van CryoSPARC-Live (voorkeur voor real-time visualisatie). De pipeline moet worden gestart zodra de eerste movies in de outputmap verschijnen—meestal binnen de eerste 5–10 min van de geautomatiseerde gegevensverzameling.
   OPMERKING: CryoSPARC-Live blijft een aangewezen map bewaken op nieuwe movie-bestanden en verwerkt deze zodra ze binnenkomen. Het belangrijkste onderscheid is dat CryoSPARC-Live een interactieve webinterface in real-time biedt voor monitoring.
5. CryoSPARC-Live workflow
   1. Navigeer in de webinterface naar een nieuw of bestaand project en maak een nieuwe live sessie aan^11,36.
   2. Configureer de inputbron: specificeer het mappad waarnaar de cameracontroller schrijft (de 'watch folder'), het bestandspatroon dat overeenkomt met raw movie-bestanden (bijv. *.tif, *.mrc, of *.eer voor Falcon 4i-gegevens in EER-formaat), en het pad naar het gain-referentiebestand.
   3. Stel de parameters voor bewegingscorrectie in: aantal te gebruiken frames, patch-gebaseerde bewegingscorrectie (aanbevolen: 5x5 patches), output binning-factor (meestal 1 voor gegevensverzameling nabij Nyquist; 2 voor initiële screening), en elektronendosis per frame (berekend uit de totale dosis en het aantal frames).
   4. Stel de CTF-schattingsparameters in: minimale en maximale resolutie voor fitting (meestal 30 Å en 4 Å), zoekbereik voor defocus (0,5–5 µm aanbevolen voor SPA), en maximaal aanvaardbaar astigmatisme. Schakel per-tilt CTF-schatting in voor cryo-ET-datasets.
   5. Configureer de particle picking: selecteer de picking-methode (blob picker voor initiële sessies; template picker nadat de eerste goede 2D-klassen beschikbaar zijn; TOPAZ picker voor moeilijke monsters). Stel de verwachte particeldiameter en minimale/maximale particle spacing in.
   6. Om de opslageisen, de belasting van de gegevensoverdracht en de computationele kosten aanzienlijk te verminderen, wordt Fourier cropping tijdens particle extraction met een factor 4 aanbevolen (wat resulteert in 4x de fysieke pixelgrootte). Voor routinematige beoordeling van de gegevenskwaliteit zijn tussenresoluties van 3–5 Å doorgaans voldoende tijdens on-the-fly verwerking.
   7. Schakel 2D-classificatie in binnen de live sessie. Stel het aantal 2D-klassen in (meestal 50–200), de batchgrootte voor incrementele updates (200–500 particles), en de resolutielimiet voor classificatie (6–8 Å voor initiële beoordeling).
   8. Start de live sessie. Monitor het real-time dashboard voor: aantal en snelheid van binnenkomende movies, kwaliteit van de bewegingscorrectie (totale beweging per movie—verwerp movies met >30 Å totale beweging als vuistregel), CTF fit-kwaliteit (verwerp micrographs met een CTF fit-resolutie >6–8 Å), particle yield per micrograph, en de evoluerende kwaliteit van de 2D-klassegemiddelden.
   9. Stel acceptatie-drempels in voor geautomatiseerde curatie. Definieer in het Filters-paneel afwijzingscriteria voor beweging (cutoff voor totale beweging), CTF-kwaliteit (cutoff voor fit-resolutie) en defocus-bereik (sluit extreem under- of over-focused micrographs uit). Gecureerde particles worden automatisch doorgestuurd naar de daaropvolgende 2D-classificatietaak.

8. Real-time kwaliteitscontrole en feedback tijdens de gegevensverzameling

1. Monitor de CTF-statistieken continu gedurende de sessie. Zet de defocuswaarden voor elke micrograph uit: de distributie moet geclusterd zijn binnen het beoogde defocusbereik (doorgaans −0,5 tot −3,0 µm voor SPA).
2. Systematische drift naar hogere defocuswaarden kan wijzen op stage-drift of een onjuiste kalibratie van de eucentrische hoogte. Waarschuw onmiddellijk het faciliteitspersoneel als de CTF-fitresolutie verslechtert tot onder de 6 Å, aangezien dit doorgaans duidt op ijscontaminatie, bundelinstabiliteit of een focus-drift waarvoor interventie nodig is.
3. Monitor de resultaten van de bewegingscorrectie. De totale in-frame beweging per movie moet minder dan 10–30 Å zijn voor hoogwaardige data. Systematische hoge beweging in de vroege frames is te verwachten en wordt gecorrigeerd; echter, aanhoudende hoge beweging gedurende de gehele movie (>40 Å totaal) kan wijzen op mechanische instabiliteit van de stage of sample-charging en moet worden onderzocht.
4. Inspecteer de 2D-klassegemiddelden terwijl deze tijdens de sessie worden bijgewerkt (elke 30–60 min). Indicatoren voor een hoogwaardige dataset: klassegemiddelden die kenmerken van de secundaire structuur vertonen, meerdere verschillende aanzichten van het deeltje en de afwezigheid van stapelings- of aggregatie-artefacten.
5. Monitor op indicatoren die interventie vereisen: alle deeltjes die worden gesorteerd in kenmerkloze 'junk'-klassen (wat wijst op een slechte monster- of ijskwaliteit), het volledige ontbreken van bepaalde aanzichten (wat wijst op een preferentiële oriëntatie — dit kan grid-optimalisatie vereisen), of extreem lage deeltjesopbrengsten per micrograph.
6. Log alle observaties in een gestructureerd sessielogboek. Noteer: start- en eindtijden van de sessie, instellingen van de microscoop en camera, een samenvatting van de on-the-fly statistieken (totaal aantal verzamelde movies, fractie die door het CTF-filter komt, fractie die door het bewegingsfilter komt, totaal aantal gepickte deeltjes, 2D-klassebeoordeling) en eventuele uitgevoerde interventies. Dit logboek is essentieel voor retrospectieve kwaliteitsbeoordeling en rapportage over de prestaties van de faciliteit.
7. Genereer aan het einde van de sessie een samenvattende rapportage over de datakwaliteit. Het live-processingplatform exporteert automatisch een sessiesamenvatting.
   OPMERKING: Een andere optie voor het genereren van samenvattingen en rapporten is het gebruik van AI-tools zoals Vitreum. In de UCSC Biomolecular Cryo-EM Facility wordt het Vitreum-platform gebruikt om laboratoriumworkflows en experimentele documentatie te beheren. Vitreum registreert experimentele stappen terwijl ze plaatsvinden, handhaaft restricties op protocolniveau, verifieert de uitvoering van de workflow aan de hand van vooraf gedefinieerde kwaliteitscriteria en biedt een controleerbaar verslag van de laboratoriumactiviteiten. Door laboratoriumoperaties te integreren met de computationele en datamanagementinfrastructuur van de faciliteit, minimaliseert het platform handmatige administratie, verbetert het de reproduceerbaarheid, faciliteert het de communicatie tussen faciliteitspersoneel en gebruikers, en maakt het een consistente tracking van experimenten mogelijk, van monstervoorbereiding tot dataverzameling en daaropvolgende computationele analyse.

9. Pipeline voor gegevensverwerking na verzameling

1. Nadat de on-the-fly voorbewerking is voltooid, wordt de gecureerde gestapelde set van gebinde deeltjes geëxporteerd samen met de gecureerde voorbewerkte movies.
2. Koppel het CryoSPARC-project los van het hoofdworkstation en koppel het vervolgens opnieuw aan een ander gedeeld, op afstand toegankelijk workstation. Dit maakt een snelle offload en doorloop mogelijk om de volgende gegevensacquisiesessie te starten.
   OPMERKING: Een typische gegevensverzameling kan variëren tussen 1–2 dagen en is eenvoudig te monitoren via CryoSPARC-Live. De 3D-bewerkingsstappen kunnen echter weken of maanden duren, waardoor de projectoverdracht tussen workstations en opslagservers gerechtvaardigd is.
3. Exporteer in CryoSPARC de gecureerde gebinde deeltjes uit de live-sessie naar een standaardproject voor offline 3D-bewerking³⁶. 
4. Voer ab initio 3D-reconstructie uit. Gebruik in CryoSPARC de Ab Initio Reconstruction-job (3–5 initiële modellen worden aanbevolen voor heterogene monsters). Genereer 1–4 initiële modellen om de structurele heterogeniteit te beoordelen.
5. Zodra de gereconstrueerde waarden bevredigend zijn, worden de niet-gebinde deeltjes opnieuw geëxtraheerd om de algehele resolutie te verbeteren.
6. Voer 3D-verfijning uit met behulp van heterogene verfijning (indien meerdere conformaties of klassen worden vermoed), gevolgd door homogene verfijning voor de beste klasse. Gebruik in CryoSPARC heterogene verfijning gevolgd door non-uniforme verfijning. 
7. Pas Bayesian polishing toe in RELION¹³ of gebruik per-deeltje bewegingscorrectie en CTF-verfijning (CryoSPARC: CTF refinement-job) om het signaal per deeltje te verbeteren door rekening te houden met straal-geïnduceerde beweging en per-deeltje defocus, afhankelijk van de voorkeur van de gebruiker. Deze stap verbetert routinematig de uiteindelijke resolutie van de map met 0,2–0,5 Å. Daarnaast kan reference-based motion correction (RBMC) in CryoSPARC ook een optie zijn om de resolutie en mapkwaliteit te verbeteren.
8. Valideer de uiteindelijke map met behulp van de gold-standard Fourier shell correlation (FSC)-procedure. Splits de deeltjesstapel in twee onafhankelijke half-sets, verfijn deze onafhankelijk en bereken de FSC tussen de twee half-maps. Rapporteer de uiteindelijke resolutie bij FSC = 0,143.
9. Bereken de map-to-model FSC (FSC-Q) en Q-scores na het fitten van het atomaire model als onafhankelijke validatiemetrieken³⁷.
10. Voer de constructie en validatie van het atomaire model uit. Gebruik ModelAngelo voor geautomatiseerde de novo modelbouw vanuit de dichtheidsmap²⁰. Verfijn het model met behulp van PHENIX real-space refinement en valideer met MolProbity.
11. Gebruik COOT³⁵ nadat het initiële model is gegenereerd om de dichtheidsmap te visualiseren, atomaire coördinaten te fitten of aan te passen, modelleringsfouten te corrigeren, ontbrekende regio's op te bouwen en structuren van eiwitten, nucleïnezuren of liganden te optimaliseren. Het maakt interactieve bewerking van residuen, zijketenconformaties, secundaire structuren en sequentietoewijzingen mogelijk, gevolgd door real-space refinement om de overeenstemming tussen het atomaire model en de experimentele dichtheid te verbeteren.
12. Sla tot slot het uiteindelijke atomaire model op in de Protein Data Bank (PDB), de dichtheidsmap in de Electron Microscopy Data Bank (EMDB) en de ruwe of voorbewerkte gegevens in het Electron Microscopy Public Image Archive (EMPIAR).

Resultaten

A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:

Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.

On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.

2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.

Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.

Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.

Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.

Manufacturer	Model	kVmax	Electron Source	Compatible DEDs	Primary Applications	Strengths	Limitations/Notes
Thermo Fisher Scientific	Krios G4/Krios 5	300 kV	XFEG/CFEG	Falcon 4i, Falcon 3EC, Gatan K3/K2	SPA, cryo-ET/STA, MicroED	Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å)	Highest cost, infrastructure demanding
	Glacios 2	200 kV	XFEG	Falcon 4i, Falcon 4, Gatan K3	SPA, cryo-ET, MicroED	Strong performance at lower cost, compact footprint, high accessibility	Lower ultimate resolution vs 300 kV
	Talos Arctica	200 kV	XFEG	Falcon 3, Falcon 4, Gatan K2/K3	SPA, cryo-ET	Proven, robust, widely adopted	Older generation, less automation
	Talos L120C	120 kV	LaB6	Ceta CMOS (limited DED)	Screening, MicroED (limited)	Cost-effective, training/screening	Not suitable for high-resolution SPA
JEOL	CRYO ARM 300 II (JEM-Z300FSC)	300 kV	CFEG	Gatan K3/K2, Direct Electron DE64	SPA, cryo-ET/STA, MicroED	Cold FEG (high coherence), top-tier resolution, strong optics	Less integrated ecosystem
	CRYO ARM 200	200 kV	CFEG	Gatan K3/K2, DE64	SPA, cryo-ET	Excellent performance-cost ratio, high stability	Fewer turnkey automation tools
	JEM-3200FSC	300 kV	FEG	Gatan K2/K3, DE20	SPA, cryo-ET	Large installed base, proven	Legacy system, aging support
Hitachi High-Tech	HF8300	300 kV	FEG	Gatan K3/K2, DE64 (custom integration)	SPA, cryo-ET	High-voltage capability, flexible integration	Limited adoption in structural biology
	HT7800	120 kV	LaB6	CMOS, limited DED	Screening, MicroED	Reliable screening scope	Not suitable for high-resolution cryoEM
	SU9000 (TEM/STEM)	200 kV	CFEG	Limited cryo-compatible DEDs	Niche cryo, materials	Advanced optics	Not widely used for SPA/ET

Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kV_max), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.

Detector	Vendor	Key Features	Typical Pairing	Best Use Case
Falcon 4i	Thermo Fisher Scientific	EER mode, very high frame rate, high DQE	Krios, Glacios	High-throughput SPA, cryo-ET
Gatan K3	Gatan (AMETEK)	Counting mode, large FOV, super-resolution	JEOL + Thermo	High-resolution SPA (standard)
Gatan K2	Gatan	Previous-gen counting detector	Legacy systems	Established pipelines
DE64	Direct Electron	Large sensor, high throughput	JEOL, selected Thermo	Cryo-ET, large field-of-view
Apollo	Direct Electron	High frame rate, high throughput	Krios, Glacios, JEOLs	SPA and microED

Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.

Software	Main Function	Key Features	Reference
RELION	End-to-end SPA processing	Bayesian refinement, classification, CTF refinement	7, 12, 13
cryoSPARC	End-to-end SPA	Fast GPU pipelines, ab initio reconstruction	11
EMAN2	Image processing suite	Reconstruction, heterogeneity analysis (e2gmm)	14
cisTEM	SPA processing	User-friendly GUI, refinement and validation	15
SPHIRE	SPA (SPARX-based)	High-resolution refinement workflows	16
cryoDRGN	Heterogeneity analysis	Deep learning latent space reconstruction	17
Topaz	Particle picking	Deep learning-based picking	18
crYOLO	Particle picking	Real-time neural network picking	16
Warp	Preprocessing	Motion correction, CTF estimation, real-time processing	19
Model Angelo	Model building	Automated model building from maps	20
cryoET + STA
Software	Main Function	Key Features	Reference
IMOD	Tilt-series alignment & reconstruction	Gold standard for tomogram reconstruction	21
Dynamo	STA	Geometry-based particle picking, flexible workflows	22
emClarity	STA refinement	High-resolution STA, template matching	23
RELION (ET module)	STA refinement	Bayesian STA, integration with SPA workflows	24
EMAN2 (SPT)	STA	Subtomogram refinement tools	14
Warp/M	Preprocessing + STA	Real-time tomographic preprocessing	19
AreTomo	Tomogram reconstruction	Fast alignment and reconstruction	25
PEET	STA	Subtomogram averaging (IMOD-based)	26
PyTom	STA	Template matching, classification	27
Tomo3D	Reconstruction	Fast GPU tomogram reconstruction	28
crYOLO (3D)	Particle picking	ML-based picking in tomograms	16
AITom	AI-based analysis	Deep learning for segmentation and classification	29
MicroED
Software	Main Function	Key Features	Reference
DIALS	Diffraction processing	Integration of diffraction data	30
XDS	Data processing	Indexing and integration of diffraction data	31
MOSFLM	Data processing	Crystallography indexing	32
SHELX	Structure solution	Phasing and refinement	33
Phenix	Structure refinement	Automated model building	34
COOT	Model building	Manual model correction	35

Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.

Category	Software	Type	Primary Function	Key Features / Role in Facility
Operating System	Linux (Ubuntu, CentOS/Rocky)	OS	Core compute environment	HPC standard, GPU support, scripting, cluster deployment
Operating System	Windows	OS	User interface / workstation OS	Compatibility with vendor software, remote desktop access
File System	ZFS	File system	Data storage & integrity	Snapshots, redundancy, data integrity (checksums), scalable storage
Network File Sharing	NFS	Protocol	Linux-based file sharing	High-performance sharing across compute nodes
Network File Sharing	SMB (CIFS)	Protocol	Cross-platform file sharing	Windows–Linux interoperability
Remote Access	Microsoft Remote Desktop (RDP)	Remote access	GUI-based remote control	Native Windows remote access
Remote Access	NoMachine	Remote access	High-performance remote desktop	Fast GPU-enabled visualization, widely used in cryoEM
Remote Access	TeamViewer	Remote access	Remote support/access	Easy setup, cross-platform support
Remote Access	VirtualGL + TurboVNC	Remote visualization	GPU-accelerated remote rendering	Essential for remote cryoSPARC/RELION visualization
GPU Computing	CUDA	Compute framework	GPU acceleration	Required for cryoSPARC, RELION, deep learning tools
Data Transfer	Globus	Data transfer	Secure large-scale transfer	High-speed, fault-tolerant data movement across institutions

Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.

Discussie

De IT-infrastructuur van een cryo-EM-faciliteit is geen ondersteunende bijzaak, maar een operationele vereiste. Faciliteiten die beginnen met gegevensverzameling zonder adequate opslag-, netwerk- en verwerkingscapaciteit worden onvermijdelijk geconfronteerd met de keuze tussen het weggooien van ruwe gegevens, het stopzetten van de gegevensverzameling of het accepteren van maandenlange vertragingen bij de structuurbepaling. De hier beschreven protocollen zijn ontworpen om deze uitkomsten te voorkomen door ervoor te zorgen dat de computationele basis is ontworpen, getest en gevalideerd voordat de eerste gebruikerssessie plaatsvindt.

Het allerbelangrijkste principe bij het ontwerp van de IT-infrastructuur voor cryo-EM is dat de opslag- en netwerkcapaciteit moeten worden gedimensioneerd op basis van de data-output van de detector, en niet op basis van de historische intuïtie van de ontwerper van de faciliteit. In EER-modus kan de detector 8–12 GB per movie stack wegschrijven; bij ~15 movies per minuut gedurende een sessie van 24 h levert dit ongeveer 2–5 TB aan ruwe data op vóór enige compressie. Hoewel on-the-fly lossless compressie (beschikbaar in CryoSPARC-Live) dit met 50–70% kan verminderen, moeten het netwerk en de opslag in staat zijn om de ongecomprimeerde schrijfsnelheid te verwerken in het geval dat compressie is uitgeschakeld of faalt. Het is essentieel om te ontwerpen voor de piekcapaciteit in plaats van de gemiddelde capaciteit.

On-the-fly verwerking vormt een van de meest impactvolle vooruitgangen in de operationele werking van cryo-EM-faciliteiten van de afgelopen jaren. Voordat real-time pipelines beschikbaar waren, hadden medewerkers van de faciliteit geen objectieve manier om de datakwaliteit te beoordelen tot uren of dagen na de collectie, waartegen de sessie reeds was beëindigd en het monsterrooster mogelijk was weggegooid. Met CryoSPARC-Live kunnen 2D-klassegemiddelden die herkenbare secundaire structuren vertonen al binnen 2–4 h na aanvang van de sessie beschikbaar zijn, wat weloverwogen beslissingen mogelijk maakt over de selectie van roosters, aanpassingen van de parameters voor datacollectie en de verlenging of beëindiging van de sessie. Deze feedbackloop is wellicht de meest directe manier waarop IT-infrastructuur de wetenschappelijke resultaten verbetert.

Een bekende beperking van de on-the-fly workflow is de gevoeligheid voor configuratiefouten. Een onjuist gespecificeerde pixelgrootte, een verkeerde gain-referentie of een niet overeenkomende dose-per-frame waarde zal door de gehele pipeline propageren, wat leidt tot misleidende kwaliteitsmetrieken en gecorrumpeerde partikelstacks. Daarom bevelen wij een gestandaardiseerde checklist voor aanvang van de sessie aan, die expliciet alle configuratieparameters van de pipeline verifieert voordat de gegevensverzameling begint. Deze checklist moet worden beschouwd als een veiligheidskritisch document, analoog aan pre-flight checklists in de luchtvaart, zoals beschreven in de bredere literatuur over cryo-EM faciliteitsbeheer.

De keuze tussen CryoSPARC-Live en RELION hangt af van de prioriteiten van de faciliteit. Het platform voor live-verwerking biedt een superieure realtime webinterface, een nauwere integratie tussen de live- en offline-verwerkingsomgevingen en een eenvoudigere configuratie voor niet-experts. RELION biedt een fijnmaziger beheer van de verwerkingsparameters en is het voorkeursplatform voor gebruikers die specifieke algoritmische opties vereisen (bijv. Bayesian polishing, specifieke 3D-classificatiestrategieën), in vergelijking met de 3D-classificatiestrategieën (bijv. 3DVAR of 3D-classificatie) die aanwezig zijn in CryoSPARC. Veel faciliteiten zetten beide parallel in, waarbij CryoSPARC-Live wordt gebruikt voor realtime monitoring en RELION voor de uiteindelijke structuurbepaling.

De infrastructuur voor toegang op afstand verdient speciale aandacht. In onze ervaring komen de meeste door gebruikers gemelde problemen tijdens de gegevensverzameling voort uit storingen bij de toegang op afstand, in plaats van problemen met de microscoop of detector. Betrouwbare remote desktop-toegang met lage latentie tot de microscoop en de werkstations voor gegevensverzameling is geen luxe, maar het primaire middel waarmee de meeste gebruikers met de faciliteit communiceren. Het investeren in professioneel geconfigureerde remote desktop-servers, het testen van de connectiviteit vanaf representatieve gebruikerslocaties en het duidelijk documenteren van de verbindingsprocedure zal een grotere positieve impact hebben op de gebruikerservaring dan veel duurdere hardware-investeringen.

Ten slotte moet er een beleid voor databeheer worden vastgesteld en gecommuniceerd naar de gebruikers voordat de operationele activiteiten van de faciliteit beginnen. Gebruikers onderschatten vaak de omvang van hun datasets en overschatten de duur van hun toegewezen opslagruimte. Een duidelijk schriftelijk beleid waarin bewaartermijnen voor ruwe data, dataquota voor gebruikers, archiveringsprocedures en kostenverhaal voor overschrijdingen van de opslagcapaciteit zijn gespecificeerd, beschermt zowel de faciliteit als de gebruikers en voorkomt operationele crises die ontstaan wanneer de opslagruimte halverwege een sessie is uitgeput.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Krios 5	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-5-cryo-tem.html	Transmissie-elektronenmicroscoop
Krios G4	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-g4-cryo-tem.html	Transmissie-elektronenmicroscoop
Glacios	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-cryo-tem.html	Transmissie-elektronenmicroscoop
Glacios 2	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-2-cryo-tem.html	Transmissie-elektronenmicroscoop
Glacios 3	ThermoFisher Scientific	https://www.thermofisher.com/ (nieuwste generatie; productpagina kan variëren per regio)	Transmissie-elektronenmicroscoop
Talos Arctica	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-arctica.html	Transmissie-elektronenmicroscoop
Talos L120C	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-l120c.html	Transmissie-elektronenmicroscoop
CRYO ARM 300 II (JEM-Z300FSC)	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm300ii.php	Transmissie-elektronenmicroscoop
CRYO ARM 200	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm200.php	Transmissie-elektronenmicroscoop
JEM-3200FSC	JEOL	https://www.jeol.com/products/scientific/tem/jem3200fsc.php	Transmissie-elektronenmicroscoop
HF8300	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html	Transmissie-elektronenmicroscoop
HT7800	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html	Transmissie-elektronenmicroscoop
SU9000 (TEM/STEM)	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html	Transmissie-elektronenmicroscoop
Falcon 4i	Thermo Fisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/direct-electron-detectors/falcon-4i.html	Directe elektrondetector
Gatan K3	Gatan (AMETEK)	https://gatan.com/products/tem-cameras/k3-is-camera	Directe elektrondetector
Gatan K2	Gatan	https://gatan.com/products/tem-cameras/k2-camera	Directe elektrondetector
Apollo	Direct Electron	https://directelectron.com/apollo/	Directe elektrondetector
DE64	Direct Electron	https://directelectron.com/de-64/	Directe elektrondetector
RELION	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	SPA-softwarepakket
cryoSPARC	Structura Biotechnology	https://cryosparc.com	SPA-softwarepakket
EMAN2	Baylor College of Medicine (Ontwikkeld door Steven Ludtke Lab)	https://blake.bcm.edu/emanwiki/EMAN2	SPA-softwarepakket
cisTEM	National Research Council Canada (Ontwikkeld door Tim Grant en collega's)	https://cistem.org	SPA-softwarepakket
SPHIRE	Max Planck Institute of Molecular Physiology and Baylor College of Medicine	https://sphire.mpg.de	SPA-softwarepakket
cryoDRGN	Princeton University (Ontwikkeld door Ellen Zhong Lab)	https://cryodrgn.cs.princeton.edu	SPA-softwarepakket
Topaz	Harvard Medical School (Ontwikkeld door Travis Bepler Lab)	https://github.com/tbepler/topaz	SPA-softwarepakket
crYOLO	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	SPA-softwarepakket
Warp	MRC Laboratory of Molecular Biology (Ontwikkeld door Dmitry Tegunov)	http://www.warpem.com	Softwarepakket voor cryo-ET en STA
ModelAngelo	MRC Laboratory of Molecular Biology	https://www.modelangelo.org	Softwarepakket voor cryo-ET en STA
IMOD	University of Colorado Boulder	https://bio3d.colorado.edu/imod	Softwarepakket voor cryo-ET en STA
Dynamo	Centro Nacional de Biotecnología (CNB-CSIC)	https://www.dynamo-em.org	Softwarepakket voor cryo-ET en STA
emClarity	University of California, San Francisco	https://github.com/StochasticAnalytics/emClarity	Softwarepakket voor cryo-ET en STA
RELION (ET-module)	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	Softwarepakket voor cryo-ET en STA
EMAN2 (SPT)	Baylor College of Medicine	https://blake.bcm.edu/emanwiki/EMAN2	Softwarepakket voor cryo-ET en STA
Warp/M	MRC Laboratory of Molecular Biology	https://warpem.github.io	Softwarepakket voor cryo-ET en STA
AreTomo	Stanford University (Ontwikkeld door Fei Sun en Wah Chiu groepen)	https://github.com/czimaginginstitute/AreTomo2	Softwarepakket voor cryo-ET en STA
PEET	University of Colorado Boulder	https://bio3d.colorado.edu/PEET	Softwarepakket voor cryo-ET en STA
PyTom	Max Planck Institute of Biochemistry	https://pytom.org	Softwarepakket voor cryo-ET en STA
Tomo3D	Spanish National Centre for Biotechnology (CNB-CSIC)	https://sites.google.com/site/3demimageprocessing/tomo3d	Softwarepakket voor cryo-ET en STA
crYOLO (3D)	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	Softwarepakket voor cryo-ET en STA
AITom	Carnegie Mellon University	https://github.com/xulabs/aitom	Softwarepakket voor cryo-ET en STA
DIALS	Diamond Light Source and collaborator	https://dials.github.io	microED-softwarepakket
XDS	Max Planck Institute for Medical Research (Ontwikkeld door Wolfgang Kabsch)	https://xds.mr.mpg.de	microED-softwarepakket
MOSFLM	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www.mrc-lmb.cam.ac.uk/mosflm	microED-softwarepakket
SHELX	University of Göttingen (Ontwikkeld door George M. Sheldrick)	https://shelx.uni-goettingen.de	microED-softwarepakket
Phenix	Lawrence Berkeley National Laboratory (PHENIX Consortium)	https://phenix-online.org	microED-softwarepakket
Coot	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot	microED-softwarepakket
Linux (Ubuntu, CentOS/Rocky)	Ubuntu: Canonical Ltd.; CentOS: CentOS Project; Rocky Linux: Rocky Enterprise Software Foundation (RESF)	https://ubuntu.com / https://www.centos.org (verouderd) /  https://rockylinux.org	Besturingssysteem
Windows	Microsoft	https://www.microsoft.com/windows	Besturingssysteem
ZFS	Oracle Corporation (oorspronkelijk Sun Microsystems); OpenZFS beheerd door de OpenZFS-community	https://openzfs.org	Bestandssysteem
NFS	Sun Microsystems (nu beheerd als IETF-standaard)	https://www.rfc-editor.org/rfc/rfc8881	Protocol
SMB (CIFS)	Microsoft	https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview	Protocol
Microsoft Remote Desktop (RDP)	Microsoft	https://learn.microsoft.com/windows-server/remote/remote-desktop-services	Remote toegang
NoMachine	NoMachine	https://www.nomachine.com	Remote toegang
TeamViewer	TeamViewer SE	https://www.teamviewer.com	Remote toegang
VirtualGL + TurboVNC	VirtualGL: The VirtualGL Project; TurboVNC: The TurboVNC Project	https://virtualgl.org en https://turbovnc.org	Remote toegang
CUDA	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Computerframework