BT Altyapısı ve Anlık Veri İşleme Hattı ile Kurum İçi Bir Kriyojenik Elektron Mikroskobu Tesisinin Tasarlanması ve İşletilmesi

Özet

Bu protokol, kurum içi bir Kriyojenik elektron mikroskobu (cryo-EM) tesisinin BT altyapısını tasarlamak ve işletmek için pratik bir çerçeve sunmaktadır. Ölçeklenebilir, sürdürülebilir ve yüksek performanslı cryo-EM operasyonları sağlarken çok terabaytlık veri kümelerinin verimli bir şekilde yönetilmesine olanak tanıyan tesis planlaması, ağ mimarisi, depolama, GPU hesaplama, uzaktan erişim ve gerçek zamanlı veri işlemeyi kapsamaktadır.

Özet

Kriyo-EM, biyolojik makromoleküllerin yüksek çözünürlüklü yapısal tayini için baskın bir yöntem haline gelmiştir. Dünya genelinde kurumsal kriyo-EM tesislerinin sayısı arttıkça, kalıcı bir sorun ortaya çıkmıştır: bu tesislere destek verecek veri altyapısı rutin olarak yetersiz planlanmaktadır. Doğrudan elektron dedektörleri (DED'ler) ile eşleştirilmiş modern kriyo-EM cihazları, günde 2 ile 5 TB arasında ham veri üretir ve 20 kullanıcılı bir tesis, tek bir operasyonel yıl içinde yaklaşık 2 PB veri biriktirebilir. Bu verilerin işlenmesi; veri toplama işlemi başlamadan önce hazır olması gereken özel GPU hesaplama düğümleri, yüksek hızlı dahili ağ iletişimi ve sağlam uzun vadeli arşivleme stratejileri gerektirir. Bu protokol, kurum içi bir kriyo-EM tesisinin BT ve hesaplama tasarımı için entegre bir çerçeve sunmaktadır. Fiziksel tesis gereksinimlerini (oda tasarımı, güç, soğutma ve titreşim izolasyonu), ekipman seçimini (mikroskoplar, DED'ler ve destekleyici cihazlar) ve tüm hesaplama yığınını: ağ anahtarı konfigürasyonu, depolama sunucusu seçimi ve boyutlandırması, GPU hesaplama düğümü temini ve uzaktan erişim mimarisini kapsamaktayız. Ardından, endüstri standardı araçları kullanarak veri toplama sırasında gerçek zamanlı olarak hareket düzeltme, kontrast transfer fonksiyonu (CTF) tahmini, partikül seçimi ve 2D sınıflandırmayı kapsayan, anlık veri işleme hatlarının uygulanması için ayrıntılı bir protokol sunuyoruz. Dış kullanıcılar için veri transfer stratejileri de ele alınmıştır. Bu kılavuz, literatürdeki kritik bir boşluğu dolduracak ve araştırmacıların ve yöneticilerin, ilk günden itibaren hesaplama açısından hazır olan kriyo-EM tesisleri kurmalarını sağlayacaktır.

Giriş

Kriyojenik elektron mikroskobisi (cryo-EM) çözünürlük devrimi, kristalleştirme ihtiyacı olmaksızın proteinlerin, nükleik asitlerin ve makromoleküler komplekslerin atomik çözünürlükte görselleştirilmesine olanak tanıyarak yapısal biyolojiyi dönüştürmüştür^1,2. Bu dönüşümü üç teknik gelişme tetiklemiştir: yüksek kare hızlarına sahip doğrudan elektron dedektörlerinin (DED) geliştirilmesi, elektron optiği ve mikroskop mekaniğindeki iyileştirmeler ve GPU hızlandırmalı görüntü işleme yazılımlarının optimizasyonu^3,4,5,6. Bu gelişmeler hep birlikte cryo-EM'i, genişleyen yapısal biyolog topluluğu için tercih edilen yöntem haline getirmiştir.

Kriyo-EM erişimine olan talep, hem büyük ulusal merkezlere hem de daha küçük kurumsal tesislere yönelik önemli yatırımları teşvik etmiştir. ABD'deki NCCAT, S2C2, PNCC ve MCCET ile Avrupa'daki eBIC, NeCEN ve SciLifeLab^3,5,6 gibi ulusal merkezler, onaylanmış projeler için en üst düzey cihazlara erişim sağlamaktadır. Kurum içi tesisler, daha hızlı işlem süreleri ve kullanıcı-personel arasında daha yakın etkileşimle yinelemeli, projeye özgü araştırmaları destekleyerek bu kaynakları tamamlar. Ancak, işlevsel bir kurum içi tesis kurmak, sadece bir mikroskop satın almaktan çok daha fazlasını gerektirir: destekleyici BT altyapısı da aynı derecede kritiktir ve bu altyapının yetersizliği, yeni tesislerdeki operasyonel başarısızlıkların başlıca nedenidir⁶.

Tek bir yüksek uç cryo-EM oturumu, 24 saat içinde 2–5 TB ham film verisi üretebilir. Birden fazla mikroskop ve kullanıcıyla birlikte, veri yükü hızla petabayt ölçeğine ulaşır. Bu verilerin işlenmesi, veri toplama işlemiyle eş zamanlı olarak çalışması gereken GPU hızlandırmalı boru hatları gerektirir^7,8. Ön işlemedeki gecikmeler, veri kalitesi hakkında geri bildirimin gecikmesi ve cihaz zamanının boşa harcanması anlamına gelir. Bu gerçeklere rağmen, cryo-EM tesis yönetimi üzerine yayınlanmış kılavuzların çoğu BT bileşenlerine çok az yer vermektedir ve hiçbiri eksiksiz bir veri altyapısının kurulması ve doğrulanması için adım adım bir operasyonel protokol sunmamaktadır.

Bu protokol söz konusu boşluğu doldurmaktadır. Tesis kurulumu için fiziksel ve teknik gereksinimleri, mikroskop ve dedektör seçim kriterlerini ve en önemlisi, bir kriyojenik elektron mikroskobu (cryo-EM) tesisini operasyonel olarak uygulanabilir kılan BT altyapısının tasarımını ve uygulamasını açıklıyoruz⁶. Anlık veri işlemeye özel bir önem verilmiştir: veri toplama sırasında verilerin otomatik ve eş zamanlı ön işlemesi, gerçek zamanlı kalite kontrolüne olanak tanır, toplama kararlarına rehberlik eder ve oturum sonrası işlem süresini önemli ölçüde azaltır^9,10,11. Bu protokolü takip ederek, tesis geliştiricileri, geniş bir bilimsel topluluğa sürdürülebilir ve verimli bir şekilde hizmet veren eksiksiz ve entegre bir cryo-EM operasyonu kurma yetkinliğine sahip olacaklardır.

Protokol

Bu protokol boyunca kullanılan ekipman, yazılım ve malzemelerin ayrıntıları Malzeme Tablosu'nda verilmiştir.

1. Fiziksel tesis tasarımı, personel ve altyapı planlaması

1. Bir konum değerlendirmesi yapın. Şunları sağlayan bir bina sahası seçin: titreşimden izole edilmiş bir zemin (ortam titreşim seviyeleri, ideal olarak 1–100 Hz'de < 1 µm/s RMS); manyetik alan kararlılığı (300 kV cihazlar için < 1 mG/m uzaysal gradyan ve < 0.1 mG/m zamansal varyasyon); sabit oda sıcaklığı (0.5 °C'den < dalgalanma ile 18–22 °C); nem kontrolü (%40–60 RH) ve düşük akustik gürültü (<50 dB). Planlama aşamasının başında mikroskop üreticisinin saha gereksinimlerine danışın.
   NOT: Mevcut bir odanın yenilenmesi, yeni bir inşaat kadar maliyetli olabilir. Genel bir kural olarak, oda hazırlığı için mikroskop satın alma fiyatının yaklaşık %20'sini bütçeleyin.
2. Tesis düzenini, fonksiyonel bölgeler arasında net mekansal ayrımlar olacak şekilde tasarlayın: (a) kriyojenik transmisyon elektron mikroskopları (cryo-TEM'ler) için mikroskopi odası/odaları; (b) ızgara işlemleri ve depolama için bir numune hazırlama ön odası; (c) su soğutucularını, UPS ünitelerini ve mikroskop soğutma sistemlerini barındıran bir kontrol odası; ve (d) depolama ve hesaplama altyapısı için ayrı bir sunucu odası veya veri merkezi.
   NOT: Kontrol odasını her zaman 26 °C'nin altında tutun ve özel yedek güç ile soğutma sağlayın. Kontrol odasındaki sıcaklık sapmaları, mikroskopların çalışmadığı sürelerin yaygın bir kaynağıdır.
3. Güç altyapısını planlayın. Üst düzey cryo-TEM'ler için özel üç fazlı güç devreleri kurun. Tüm mikroskopları, kameraları ve sunucu ekipmanlarını belirlenmiş korumalı güç altyapısına bağlayın. Güç kesintileri sırasında mikroskop çalışmasını ve soğutma suyu akışını sürdürebilen bir acil durum jeneratörünün eklenmesi için kurumun tesis ekibiyle koordinasyon sağlayın.
   NOT: Bir cryo-EM tesisindeki bazı cihazların güvenli güç döngüsü için bir günden fazla süre gerekir. Planlanmamış güç kayıpları, hassas devre kartlarına zarar verebilir ve aktif veri toplama oturumlarının kaybıyla sonuçlanabilir.
4. Elektron mikroskobu ve ilgili donanımlar için soğutma suyu sistemlerini kurun. Otomatik failover özelliğine sahip bir yedek soğutma suyu devresi oluşturun. Su akış hızını, sıcaklığını ve iletkenliğini, mikroskobun entegre izleme sistemi veya özel bir sensör dizisi kullanarak sürekli izleyin.
5. İnşaat veya renovasyon sırasında mikroskopi odasından/odalarından sunucu odasına fiber optik kablo hatları döşeyin. Minimum OM4 çok modlu veya OS2 tek modlu fiber belirleyin, yeterli pay bırakın ve her iki uçta etiketli patch paneller kullanın.
   NOT: Fiberi önceden döşemek, sonradan eklemekten çok daha ucuzdur.
6. Cihaz bakımı, kullanıcı eğitimi, planlama, numune optimizasyonu ve veri toplama desteği sağlamak için özel mikroskop operatörleri veya tesis bilimcileri atayın. Altyapıyı, ağ performansını, siber güvenliği, veri yedeklemeyi, yazılım dağıtımını, GPU hesaplama kaynaklarını ve uzak kullanıcı erişimini yönetmek için özel BT personeli görevlendirin.
7. Sağlanan kullanıcı desteği düzeyine ve hesaplama altyapısının karmaşıklığına göre personel gereksinimlerini belirleyin. UCSC Biomolecular cryo-EM Tesisi gibi daha küçük tesislerde, bu sorumluluklar hesaplama uzmanlığına sahip bir tesis yöneticisi veya merkezi kurumsal BT hizmetleri tarafından paylaşılabilir; ancak mikroskop, kullanıcı ve yıllık veri toplama oturumu sayısı arttıkça, uzmanlaşmış personel giderek daha gerekli hale gelir.
8. Kesintisiz veri toplama, verimli veri yönetimi ve ölçeklenebilir hesaplama kaynakları sağlamak için birden fazla cryo-TEM çalıştıran tesislere özel BT desteği sağlayın. Operasyonel duruş sürelerini minimize etmek, gelecekteki genişletmeleri basitleştirmek ve büyüyen kullanıcı topluluklarını ve giderek daha veri yoğun hale gelen cryo-EM iş akışlarını destekleyebilecek sürdürülebilir bir çerçeve sunmak için tesis geliştirme aşamasının başında sağlam bir BT altyapısına ve personeline yatırım yapın.

2. Mikroskop ve dedektör seçimi

1. Bir mikroskop seçmeden önce tesisin temel bilimsel misyonunu belirleyin. Şunları göz önünde bulundurun: (a) temel iş akışının tek parçacık analizi (SPA), kriyoelektron tomografisi (cryo-ET), mikroelektron difraksiyonu (microED) veya bunların bir kombinasyonu olup olmayacağı; (b) beklenen kullanıcı kitlesinin büyüklüğü ve projelerin çeşitliliği; (c) hem satın alma hem de devam eden servis sözleşmeleri için bütçe kısıtlamaları.
2. Mevcut cryo-TEM platformlarını hedeflenen uygulamalara göre değerlendirin. Yüksek çözünürlüklü SPA ve alt-tomogram ortalaması (STA) için 300 kV cihazları değerlendirin. Tarama ve orta çözünürlüklü veri toplama için 200 kV cihazları değerlendirin. Tarama kapasitesine sahip, daha düşük maliyetli bir başlangıç noktası için 100–120 kV sistemleri değerlendirin (Tablo 1'de özetlenmiştir).
   NOT: Spesifikasyon belgeleri sık sık değişir. Ekipman kararlarını kesinleştirmeden önce güncel konfigürasyon ayrıntılarını ve fiyatlandırmayı her zaman doğrudan üreticiden talep edin.
3. Mikroskoba ve uygulamaya uygun bir DED seçin. Thermo Fisher Scientific (TFS) cihazlarında yüksek çözünürlüklü SPA için Falcon 4i, şu anda Krios ve Glacios serilerindeki temel seçenektir.
4. JEOL CryoARM cihazları için Gatan K3 mükemmel hassasiyet ve kare hızları sağlar. Hem SPA hem de microED'yi hedefleyen tesisler, dedektörün elektron difraksiyonu veri toplama modlarıyla uyumluluğunu onaylamalıdır (Tablo 2).
   NOT: DED, tesisin en pahalı bileşenlerinden biridir ve veri kalitesini ve depolama gereksinimlerini önemli ölçüde etkiler. Örneğin, Electron Event Register (EER) modu, geleneksel sıkıştırılmış formatlardan çok daha büyük ham dosyalar üretir; bu da orantılı olarak daha fazla depolama alanı ve ağ bant genişliği gerektirir.
5. Bir cryo-EM cihaz konfigürasyonu seçerken, görüntü kalitesini, dedektör seçimini ve genel sistem performansını önemli ölçüde etkileyebileceği için bir enerji filtresinin rolünü değerlendirin. Enerji filtreleri, inelastik olarak saçılan elektronları uzaklaştırarak kontrastı ve sinyal-gürültü oranını iyileştirir; bu durum özellikle zorlu örnekler, yüksek çözünürlüklü SPA (faydalıdır), cryo-ET (kritiktir) ve microED (faydalıdır) uygulamaları için yararlıdır.
6. Cihaz seçimi sırasında mevcut enerji filtresi sistemlerini değerlendirin. Gatan Bioquantum ve Biocontinuum veya Thermo Fisher Scientific Selectris ve SelectrisX sistemleri, konfigürasyona bağlı olarak genellikle yaklaşık US$0.3–1.5M maliyetindedir.
7. Nihai cihaz konfigürasyonunu seçmeden önce, enerji filtreleri ile ilişkili ek maliyeti ve karmaşıklığı; dedektör yetenekleri, tesis hedefleri ve beklenen kullanıcı uygulamaları ile birlikte değerlendirin.
8. Toplam satın alma maliyetini hesaplarken servis sözleşmelerini hesaba katın. Servis sözleşmeleri tipik olarak mikroskobu, enerji filtresini, dedektörü ve su soğutma sistemini kapsar.
9. Yanıt süresi garantileri ve yedek parça imkanları dahil olmak üzere servis sözleşmesi şartlarını cihaz satın alma sırasında müzakere edin. Servis kapsamı için cihaz satın alma fiyatının yıllık %8–15'ini bütçeyin.

3. Ağ mimarisi tasarımı ve uygulaması

1. Dahili tesis ağını, merkezî yüksek hızlı bir anahtar (switch) etrafında tasarlayın. Veri üreten ve veri tüketen tüm cihazları bu anahtara desteklenen en yüksek hızda doğrudan bağlayın: mikroskop kontrolörü, kamera kontrolörü (genellikle ayrı bir iş istasyonudur), depolama sunucuları ve GPU hesaplama düğümleri.
2. Her bir cihaza minimum 10 Gbps bağlantı sağlayın. Bütçenin izin verdiği yerlerde, anahtar ile depolama ve hesaplama düğümleri arasında 25 Gbps veya daha hızlı uplink bağlantıları planlayın.
   NOT: 1 Gbps hızında, 20 TB ham verinin aktarılması 2-3 gün sürer. 10 Gbps hızında aynı aktarım 5-6 saat sürer. 25 Gbps hızında ise yaklaşık 2 saat sürer. Ağ hızı, anlık işlemenin veri kazanım hızıyla aynı tempoda gidip gidemeyeceğini doğrudan belirler.
3. Merkezî anahtarı belirleyin. Gereksinimler: (a) tam hat hızında bloklamasız anahtarlama yapısı (non-blocking switching fabric); (b) tüm tesis cihazları için yeterli SFP+ veya QSFP portları; (c) yönetilebilir anahtar işlevselliği (VLAN desteği, trafik izleme, tanılamalar için port aynalama); (d) yedekli güç kaynağı modülleri. Bloklamasız anahtarlama yapısı, yeterli yüksek hızlı portlar, trafik yönetimi işlevleri ve yedekli güç kaynakları sağlayan kurumsal düzeyde yönetilebilir bir anahtar seçin.
4. Ağı, şunları ayırmak için VLAN'ler kullanarak bölümlere ayırın: (a) veri kazanım VLAN'i (mikroskop ve kamera kontrolörleri, depolama sunucuları); (b) hesaplama VLAN'i (GPU iş istasyonları ve küme düğümleri); (c) yönetim VLAN'i (uzaktan erişim, izleme, yönetim).
   NOT: Ağ bölümlendirme, yayın (broadcast) trafiğini azaltır, güvenliği artırır ve her alt sistemin bağımsız olarak sorun giderilmesine olanak tanır.
5. Tesis ağını, merkezî anahtar üzerindeki özel bir uplink portu aracılığıyla kurumsal WAN'a bağlayın. Kampüs ağına yapılan 1-10 Gbps'lik bir uplink, uzaktan erişim ve harici veri aktarımı için yeterlidir.
6. Tesis tarafından erişilebilen tüm cihazlar için statik IP adresleri, DNS kayıtları ve uygun güvenlik duvarı kurallarının tanımlanması için kurumun BT birimiyle koordinasyon sağlayın (Şekil 1).
7. Tüm ağ kablo hatlarını döşeyin ve etiketleyin. 100 m'ye kadar 10+ Gbps bağlantılar için doğrudan bağlantı kabloları (DAC) veya aktif optik kablolar kullanın (zırhlı Cat6A da 100 m'ye kadar 10 Gbps için uygundur); kabinetler arası 25+ Gbps bağlantılar için önceden sonlandırılmış fiber düzenekler (LC-LC veya MTP) kullanın.
8. Cihaz isimlerini, IP adreslerini, port atamalarını ve VLAN üyeliklerini belirten bir ağ diyagramı ile tüm kablolama şemasını belgeleyin.
   NOT: Küçük bir cryo-EM tesisi için önerilen minimum ağ topolojisinin şeması için Şekil 2'ye bakınız.

4. Depolama sunucusu tasarımı ve yaygınlaştırılması

1. Donanımı temin etmeden önce depolama gereksinimlerini hesaplayın. Temel bir değer olarak: tek bir üst düzey cryo-EM oturumu günde 2–5 TB ham veri üretir.
2. Öngörülen tesis kullanımına göre uzun vadeli depolama gereksinimlerini tahmin edin. İki mikroskobun çalıştığı 20 kullanıcılı bir tesis, 3–6 aylık çalışma süresi içinde yaklaşık 2 PB veri üretebilir. İşlenmiş veri setleri sıklıkla ham girdiden 10–20 kat daha büyük olduğundan, hem ham veri depolaması (kısa vadeli, yüksek veri akışlı) hem de işlenmiş veri depolaması (orta vadeli, daha büyük hacimli) için planlama yapın.
3. Güçlü bir depolama mimarisi seçin. Çoğu tesis için uygun maliyet-kapasite oranı, yerleşik veri bütünlüğü doğrulaması (checksumming), esnek RAID eşdeğer yapılandırmaları (RAIDZ, RAIDZ2) ve anlık görüntü (snapshot) desteği sunan bağımsız ZFS tabanlı sunucular, önerilen başlangıç noktasıdır. Kümelenmiş dağıtık dosya sistemleri (Gluster, Ceph, GPFS/IBM Spectrum Scale) daha yüksek performans ve ölçeklenebilirlik sunabilir ancak birden fazla fiziksel sunucu ve daha karmaşık bir yönetim gerektirir.
4. ZFS depolama havuzlarını yapılandırın. Önerilen başlangıç yapılandırması: iki adet RAIDZ2 vdev (her biri 6–8 adet yüksek kapasiteli SAS HDD'den oluşur, her biri 16–20 TB), iki eşzamanlı sürücü arızasına karşı koruma sağlayarak yaklaşık %60–70 kullanılabilir kapasite sunar.
5. Aktif işleme işleri için rastgele okuma performansını hızlandırmak amacıyla 2–4 adet NVMe SSD kullanarak özel bir SSD yazma önbelleği (L2ARC) vdev ekleyin.
   NOT: Üretim depolama dizilerinde tüketici sınıfı SATA sürücüler kullanmayın. Cryo-EM iş akışlarının sürekli rastgele I/O modelleri için dereceli iş yükü kapasitesine (örneğin, 550 TB/yıl) sahip kurumsal SAS veya NL-SAS sürücüler gereklidir.
6. ZFS depolama sunucusunda NFS dışa aktarımlarını (Linux istemciler için) ve SMB paylaşımlarını (Windows istemciler için) yapılandırın. Ara kopyalar olmadan doğrudan veri erişimi sağlamak için ana veri paylaşımını tüm GPU hesaplama düğümlerine ve kamera kontrol istasyonuna bağlayın.
7. Bir veri saklama ve yaşam döngüsü politikası oluşturun. Şunları tanımlayın: (a) ham film saklama süresi (tipik olarak toplama sonrası 3–6 ay); (b) hareket düzeltmeli mikrograf saklama; (c) nihai işlenmiş veri setlerinin saklanması (yayına kadar süresiz); (d) tamamlanan projeler için arşivleme prosedürü.
8. Ek depolama alanının zamanında temin edilmesini sağlamak için depolama kullanımı %70 kapasiteyi aştığında otomatik uyarılar uygulayın.
   NOT: Depolama, cryo-EM tesis planlamasında en yaygın olarak hafife alınan maliyettir. Mikroskop satın alma onayını, yeterli depolama finansmanı ile karıştırmayın. Depolama temini, veri toplama başladıktan sonra değil, cihaz kurulumuna paralel olarak planlanmalıdır.

5. GPU hesaplama altyapısı

1. Beklenen veri akışına göre hesaplama gereksinimlerini belirleyin. 24 saatlik bir oturumda 3.000–5.000 mikrograf üreten tek bir mikroskop için, toplama hızında anlık ön işleme işlemini sürdürebilmek adına, her biri 4x NVIDIA GPU kartı (Maxwell veya daha yeni, 11+ GB VRAM, örn. RTX 3090, RTX 4090 veya A100) ile donatılmış en az iki hesaplama düğümü gereklidir.
2. Daha büyük tesisler veya yüksek eğim serisi hacmine sahip cryo-ET iş akışları için ek düğümler sağlayın.
3. GPU hesaplama düğümü donanımını belirtin. Her düğüm şunları içermelidir: (a) CUDA desteğine sahip 4x NVIDIA GPU (CryoSPARC ve RELION 3D rafinasyonları için GPU başına minimum 24 GB VRAM); (b) paralel CPU tabanlı adımları (CTF kestirimi, dosya I/O) desteklemek için yüksek çekirdek sayılı bir CPU (AMD EPYC veya Intel Xeon, ≥32 çekirdek); (c) ≥256 GB sistem RAM'i; (d) aktif iş ara ürünleri için 2–4 TB NVMe SSD yerel geçici alan; (e) 10/25 Gbps ağ arayüz kartı (NIC); (f) çalışma veri setleri için yeterli yerel depolama (genellikle bir RAID birimi). NOT: Tüketici sınıfı GPU'lar (RTX 4090), cryo-EM iş yükleri için kurumsal düzeydeki alternatiflere (A100) kıyasla çok daha düşük maliyetle benzer performans sunabilir. Bellek erişim modelleri yüksek bellek bant genişlikli GPU'ları tercih ettiğinden, özellikle CryoSPARC ve RELION için kıyaslama testlerini değerlendirin.
4. Her hesaplama düğümüne NVIDIA sürücü yığınını, CUDA araç kitini (CryoSPARC ve RELION ile uyumlu sürüm) ve cuDNN'i kurun. Yazılım ortamlarını tüm düğümlerde standartlaştırmak ve gelecekteki güncellemeleri basitleştirmek için bir yapılandırma yönetim aracı kullanın.
5. CryoSPARC'ı bağımsız veya küme konfigürasyonunda dağıtın. Çok düğümlü bir tesis için, CryoSPARC-master'ı özel bir ana düğüme ve CryoSPARC-worker'ı her bir GPU hesaplama düğümüne kurun.
6. Birden fazla kullanıcının eşzamanlı işleme görevleri göndermesine izin verecek şekilde iş zamanlamasını yapılandırın. Minimum sistem gereksinimleri ve ağ yapılandırması için resmi CryoSPARC mimari dokümantasyonunu takip edin.
7. Kullanıcılara her iki işleme ekosistemini de sunmak için ana işleme platformunun yanına RELION'u kurun. Yazılımı, bir zamanlayıcı (SLURM veya PBS/Torque) aracılığıyla yerel hesaplama düğümlerini kullanacak şekilde yapılandırın.
8. Yardımcı araçları kurun: MotionCor2 (hareket düzeltme), CTFFIND4 ve Gctf (CTF kestirimi), TOPAZ (makine öğrenimi tabanlı partikül seçimi), crYOLO (sinir ağı partikül seçici) ve cryoDRGN (heterojenlik analizi). SPA, cryo-ET, STA ve microED için mevcut yazılım paketlerine genel bir bakış için Tablo 3'e başvurun. 
9. Yeniden üretilebilir, sürümlendirilmiş yazılım ortamlarını sürdürmek için SBGrid konsorsiyum dağıtımını veya konteyner tabanlı yazılım yönetimini (HPC ortamları için Singularity/Apptainer; iş istasyonları için Docker) kullanın.
   NOT: SBGrid, akademik kurumlar için otomatik güncelleme yönetimi ile birlikte tüm ana cryo-EM yazılım araçlarının önceden derlenmiş, doğrulanmış sürümlerini sağlar.

6. Uzaktan erişim altyapısı

1. Tüm tesis dışı kullanıcılar ve personel için birincil güvenli giriş noktası olarak VPN tabanlı uzak erişimi kurun. Cihazları genel internete açık hale getirmeden, tesisin hesaplama ve depolama ağına erişim sağlayan tesise özel bir VPN profili veya tüneli oluşturmak için kurum BT birimiyle birlikte çalışın.
2. Tüm uzak erişim noktalarında iki faktörlü kimlik doğrulamayı (2FA) uygulayın (Şekil 2).
3. Mikroskop kontrolörlerine ve GPU iş istasyonlarına grafiksel erişim için uzak masaüstü yazılımları dağıtın. Önerilen seçenekler: (a) TeamViewer (ticari, platformlar arası, NAT üzerinden erişim sağlayan—mikroskop kontrolör erişimi için uygundur); (b) NoMachine (ticari, platformlar arası, OpenGL 3D grafik yönlendirmesini destekler—görselleştirme araçları çalıştıran GPU iş istasyonları için önerilir); (c) VirtualGL ile TurboVNC (açık kaynaklı, yalnızca Linux, uzak 3D işlemesini destekler).
   NOT: Birçok cryo-EM görselleştirme aracı, 3D işlemeleri için OpenGL kullanır. Standart X11 yönlendirmesi, donanım hızlandırmalı OpenGL'i desteklemez. Bu uygulamalar için NoMachine veya VirtualGL/TurboVNC kullanın.
4. Mikroskop veri toplama yazılımına uzak erişimi yapılandırın. Kurumsal VPN üzerinden uzak işletim için Leginon veya SerialEM kullanın. Mikroskop toplama yazılımına, onaylanmış bir uzak masaüstü uygulaması aracılığıyla uzaktan erişilebilir.
5. Kullanıcı operasyonlarını başlatmadan önce, temsilci tesis dışı konumlardan (ev ağları, iş birliği yapılan kurumlar) uzak bağlantıyı test edin (Tablo 4).
6. Personelin ve kullanıcıların veri toplama durumunu, ön işleme çıktılarını, depolama kullanımını ve hesaplama kuyruğu durumunu uzaktan izlemesini sağlamak için web tabanlı bir tesis izleme paneli kurun. Leginon, yerleşik bir web izleme arayüzü içerir.
7. CryoSPARC iş akışı için, pipeline günlük çıktıları ve sistem izleme araçları (Prometheus, node_exporter) tarafından beslenen bir Grafana veya özel bir web paneli yapılandırın.
8. Harici kullanıcılar için bir veri teslim mekanizması oluşturun. Tesis depolamasında Globus Connect Server gibi kimlik doğrulama gerektiren bir veri transfer servisi yapılandırın.
9. Globus erişimi olmayan kullanıcılar için, belgelenmiş sağlama toplamları (checksum) ile USB sabit sürücü gönderim prosedürleri hazırlayın. Harici kullanıcılar tarafından çok TB'lık veri setlerinin pratik şekilde doğrudan indirilmesi için 10 Gbps internet uplink hattı gereklidir.

7. Anlık veri işleme iş akışı: uygulama

1. Her veri toplama oturumundan önce veri akış yolunu önceden yapılandırın. Şunları doğrulayın: (a) kamera kontrolcüsünün ham videoları doğrudan tesisin NFS üzerinden bağlanan yüksek performanslı depolama birimine yazdığı; (b) NFS paylaşımının tüm GPU hesaplama düğümlerinde bağlı ve erişilebilir olduğu; (c) planlanan oturum için yeterli boş depolama kapasitesinin bulunduğu (24 saatlik bir SPA oturumu için minimum 5 TB boş alan); (d) GPU hesaplama düğümlerinin müsait olduğu ve kaynaklar için rekabet edecek uzun süreli başka işlemlerin bulunmadığı.
2. Bir kazanç referans düzeltmesi kurulumu yapın. Her oturumdan önce, dedektör üreticisi tarafından belirtilen şekilde (genellikle gridin boş bir alanına yapılan boş ışın maruziyeti) bir kazanç referans görüntüsü edinin.
3. Kazanç referans dosyasını belirlenen ön işleme giriş dizinine yerleştirin. Tüm hareket düzeltme yazılımları (MotionCor2, RELION'un kendi uygulaması), doğru şekilde yapılandırıldıkları takdirde bu referansı otomatik olarak uygulayacaktır.
4. (Gerçek zamanlı görselleştirme için tercih edilen) CryoSPARC-Live kullanarak anlık ön işleme hattını başlatın. Ön işleme hattı, ilk filmler çıktı dizininde göründüğünde başlatılmalıdır; bu durum genellikle otomatik veri toplamanın ilk 5–10 dakikası içinde gerçekleşir.
   NOT: CryoSPARC-Live, yeni movie dosyaları için belirlenmiş bir dizini izlemeye devam eder ve dosyalar geldikçe bunları işler. Temel fark, CryoSPARC-Live'ın izleme için gerçek zamanlı, etkileşimli bir web arayüzü sunmasıdır.
5. CryoSPARC-Live iş akışı
   1. Web arayüzünde yeni veya mevcut bir projeye gidin ve yeni bir canlı oturum oluşturun^11,36.
   2. Giriş kaynağını yapılandırın: kamera kontrol cihazı tarafından yazılan dizin yolunu ('izleme klasörü'), ham film dosyalarıyla eşleşen dosya desenini (örneğin, *.tif, *.mrc veya EER formatındaki Falcon 4i verileri için *.eer) ve kazanç referans dosyası yolunu belirtin.
   3. Hareket düzeltme parametrelerini ayarlayın: kullanılacak kare sayısı, yama tabanlı hareket düzeltme (önerilen: 5x5 yamalar), çıktı binning faktörü (genellikle Nyquist sınırına yakın veri toplama için 1; ilk tarama için 2) ve kare başına elektron dozu (toplam doz ve kare sayısından hesaplanır).
   4. CTF kestirim parametrelerini ayarlayın: uydurma için minimum ve maksimum çözünürlük (tipik olarak 30 Å ve 4 Å), defocus arama aralığı (0,5–5 µm (SPA için önerilen) ve kabul edilebilir maksimum astigmatizma. Cryo-ET veri setleri için eğim başına CTF kestirimini etkinleştirin.
   5. Parçacık seçimi yapılandırması: seçim yöntemini belirleyin (ilk oturumlar için blob seçici; ilk iyi 2D sınıflar elde edildikten sonra şablon seçici; zor örnekler için TOPAZ seçici). Beklenen parçacık çapını ve minimum/maksimum parçacık aralığını ayarlayın.
   6. Depolama gereksinimlerini, veri aktarım yükünü ve hesaplama maliyetini önemli ölçüde azaltmak için, partikül ekstraksiyonu sırasında Fourier kırpma işleminin 4 kat faktörle (fiziksel piksel boyutunun 4 katına çıkmasıyla sonuçlanır) yapılması önerilir. Rutin veri kalite değerlendirmesi için 3–5 arasındaki ara çözünürlükler Å genellikle anlık işlem sırasında yeterlidir.
   7. Canlı oturum sırasında 2D sınıflandırmayı etkinleştirin. 2D sınıf sayısını (genellikle 50–200), artımlı güncellemeler için toplu işlem boyutunu (200–500 partikül) ve sınıflandırma için çözünürlük sınırını (6–8 Å) ayarlayın. Å (ilk değerlendirme için).
   8. Canlı oturumu başlatın. Gerçek zamanlı paneli şu değerler için izleyin: gelen film sayısı ve hızı, hareket düzeltme kalitesi (film başına toplam hareket—şu değerlere sahip filmleri reddedin: >30 Å (başparmak kuralı olarak toplam hareket), CTF uyum kalitesi (CTF uyum çözünürlüğü ile mikrografları reddedin >6–8 Å), mikrograf başına parçacık verimi ve gelişen 2D sınıf ortalaması kalitesi.
   9. Otomatik kürasyon için kabul eşikleri belirleyin. Filtreler panelinde; hareket (toplam hareket kesme değeri), CTF kalitesi (uyum çözünürlüğü kesme değeri) ve defocus aralığı (aşırı düşük veya yüksek odaklı mikrografları hariç tutun) için red kriterlerini tanımlayın. Küratörlüğü yapılmış partiküller, otomatik olarak sonraki aşamadaki 2D sınıflandırma işlemine yönlendirilir.

8. Veri toplama sırasında gerçek zamanlı kalite kontrolü ve geri bildirim

1. Oturum boyunca CTF istatistiklerini sürekli izleyin. Her mikrograf için defocus değerlerini grafikleyin: dağılım, hedeflenen defocus aralığında (SPA için tipik olarak −0.5 ila −3.0 µm) kümelenmelidir.
2. Daha yüksek defocus değerlerine doğru sistematik kayma, sahne kayması veya eusentrik yükseklik hatalı kalibrasyonuna işaret edebilir. CTF uyum çözünürlüğü 6 Å değerinin altına düşerse, bu durum tipik olarak buz kontaminasyonu, demet kararsızlığı veya müdahale gerektiren bir odak kaymasını gösterdiğinden tesis personelini derhal bilgilendirin.
3. Hareket düzeltme çıktılarını izleyin. Yüksek kaliteli veriler için film başına toplam çerçeve içi hareket 10–30 Å'den az olmalıdır. İlk karelerdeki sistematik yüksek hareket beklenir ve düzeltilir; ancak film boyunca devam eden yüksek hareket (toplamda >40 Å), mekanik sahne kararsızlığına veya numune şarjlanmasına işaret edebilir ve araştırılmalıdır.
4. Oturum sırasında güncellendikçe (her 30–60 dk'da bir) 2D sınıf ortalamalarını inceleyin. Yüksek kaliteli bir veri setinin göstergeleri şunlardır: sekonder yapı özelliklerini gösteren sınıf ortalamaları, partikülün birden fazla belirgin görünümü ve istifleme veya agregasyon artefaktlarının olmaması.
5. Müdahale gerektiren göstergeleri izleyin: tüm partiküllerin özelliksiz 'çöp' sınıflara ayrılması (kötü numune veya buz kalitesine işaret eder), belirli görünümlerin tamamen eksik olması (tercih edilen yönelime işaret eder—grid optimizasyonu gerektirebilir) veya mikrograf başına aşırı düşük partikül verimleri.
6. Tüm gözlemleri yapılandırılmış bir oturum günlüğüne kaydedin. Şunları kaydedin: oturum başlangıç/bitiş zamanları, mikroskop ve kamera ayarları, anlık istatistik özeti (toplanan toplam film sayısı, CTF filtresinden geçen oran, hareket filtresinden geçen oran, seçilen toplam partikül sayısı, 2D sınıf değerlendirmesi) ve yapılan tüm müdahaleler. Bu günlük, geriye dönük kalite değerlendirmesi ve tesis performans raporlaması için gereklidir.
7. Oturum sonunda, özet bir veri kalite raporu oluşturun. Canlı işleme platformu bir oturum özetini otomatik olarak dışa aktarır.
   NOT: Özetler ve raporlar oluşturmak için bir başka seçenek, Vitreum gibi yapay zeka araçlarını kullanmaktır. UCSC Biomoleküler Cryo-EM Tesisinde, Vitreum platformu laboratuvar iş akışlarını ve deneysel dokümantasyonu yönetmek için kullanılır. Vitreum, deneysel adımları gerçekleştikleri sırada kaydeder, protokol düzeyindeki kısıtlamaları uygular, iş akışı yürütmesini önceden tanımlanmış kalite kriterlerine göre doğrular ve laboratuvar faaliyetlerinin denetlenebilir bir kaydını sunar. Laboratuvar operasyonlarını tesisin hesaplama ve veri yönetimi altyapısıyla entegre ederek platform, manuel kayıt tutma işlemini minimize eder, tekrarlanabilirliği artırır, tesis personeli ile kullanıcılar arasındaki iletişimi kolaylaştırır ve numune hazırlığından veri toplama ve sonraki hesaplamalı analizlere kadar deneylerin tutarlı bir şekilde takip edilmesini sağlar.

9. Toplama sonrası veri işleme hattı

1. Anlık ön işleme tamamlandıktan sonra, küratörlüğü yapılmış kutulanmış (binned) partikül yığını, küratörlüğü yapılmış ön işlemeden geçmiş filmlerle birlikte dışa aktarılır.
2. CryoSPARC projesini ana iş istasyonundan ayırın ve ardından uzak erişimli başka bir paylaşımlı iş istasyonuna yeniden bağlayın. Bu işlem, bir sonraki veri toplama oturumunu başlatmak için hızlıca boşaltma ve devir yapılmasını sağlar.
   NOT: Tipik bir veri toplama işlemi 1–2 gün arasında değişebilir ve CryoSPARC-Live ile kolayca izlenebilir. Ancak, 3D işleme adımları haftalar veya aylar sürebilir, bu nedenle projenin iş istasyonları ve depolama sunucuları arasında aktarılması gerekçelendirilir.
3. CryoSPARC'ta, çevrimdışı 3D işleme için canlı oturumdaki küratörlüğü yapılmış kutulanmış partikülleri standart bir projeye dışa aktarın³⁶. 
4. Ab initio 3D rekonstrüksiyon gerçekleştirin. CryoSPARC'ta, Ab Initio Reconstruction işini kullanın (heterojen örnekler için 3–5 başlangıç modeli önerilir). Yapısal heterojenliği değerlendirmek için 1–4 başlangıç modeli oluşturun.
5. Rekonstrüksiyon değerleri tatmin edici olduğunda, genel çözünürlüğü artırmak için kutulanmamış (unbinned) partikülleri yeniden çıkarın.
6. Heterojen rafinasyon (birden fazla konformasyon veya sınıftan şüpheleniliyorsa) ve ardından en iyi sınıf için homojen rafinasyon kullanarak 3D rafinasyon yapın. CryoSPARC'ta, heterojen rafinasyonu takip eden non-uniform rafinasyon kullanın. 
7. Kullanıcı tercihine bağlı olarak, demet kaynaklı hareketi ve partikül başına odak dışılığı (defocus) hesaba katarak partikül başına düşen sinyali iyileştirmek için RELION'da¹³ Bayesian polishing uygulayın veya partikül başına hareket düzeltme ve CTF rafinasyonu (CryoSPARC: CTF refinement işi) kullanın. Bu adım rutin olarak final harita çözünürlüğünü 0.2–0.5 Å oranında artırır. Ek olarak, CryoSPARC'taki referans tabanlı hareket düzeltme (RBMC) de çözünürlüğü ve harita kalitesini artırmak için bir seçenek olabilir.
8. Final haritasını altın standart Fourier kabuk korelasyonu (FSC) prosedürünü kullanarak doğrulayın. Partikül yığınını iki bağımsız yarı sete bölün, bağımsız olarak rafine edin ve iki yarı harita arasındaki FSC'yi hesaplayın. Final çözünürlüğü FSC = 0.143 değerinde raporlayın.
9. Atomik model yerleştirmesinden sonra, bağımsız doğrulama metrikleri olarak harita-model FSC (FSC-Q) ve Q-skorlarını hesaplayın³⁷.
10. Atomik model oluşturma ve doğrulama gerçekleştirin. Yoğunluk haritasından otomatik de novo model oluşturmak için ModelAngelo kullanın²⁰. Modeli PHENIX gerçek uzay rafinasyonu ile rafine edin ve MolProbity ile doğrulayın.
11. Başlangıç modeli oluşturulduktan sonra; yoğunluk haritasını görselleştirmek, atomik koordinatları yerleştirmek veya ayarlamak, modelleme hatalarını düzeltmek, eksik bölgeleri oluşturmak ve protein, nükleik asit veya ligand yapılarını optimize etmek için COOT³⁵ kullanın. Bu araç; kalıntıların, yan zincir konformasyonlarının, ikincil yapıların ve sekans atamalarının etkileşimli olarak düzenlenmesine, ardından atomik model ile deneysel yoğunluk arasındaki uyumu artırmak için gerçek uzay rafinasyonuna olanak tanır.
12. Son olarak, final atomik modeli Protein Veri Bankası'na (PDB), yoğunluk haritasını Elektron Mikroskopisi Veri Bankası'na (EMDB) ve ham veya ön işlemeden geçmiş verileri Elektron Mikroskopisi Kamu Görüntü Arşivi'ne (EMPIAR) gönderin.

Sonuçlar

A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:

Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.

On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.

2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.

Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.

Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.

Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.

Manufacturer	Model	kVmax	Electron Source	Compatible DEDs	Primary Applications	Strengths	Limitations/Notes
Thermo Fisher Scientific	Krios G4/Krios 5	300 kV	XFEG/CFEG	Falcon 4i, Falcon 3EC, Gatan K3/K2	SPA, cryo-ET/STA, MicroED	Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å)	Highest cost, infrastructure demanding
	Glacios 2	200 kV	XFEG	Falcon 4i, Falcon 4, Gatan K3	SPA, cryo-ET, MicroED	Strong performance at lower cost, compact footprint, high accessibility	Lower ultimate resolution vs 300 kV
	Talos Arctica	200 kV	XFEG	Falcon 3, Falcon 4, Gatan K2/K3	SPA, cryo-ET	Proven, robust, widely adopted	Older generation, less automation
	Talos L120C	120 kV	LaB6	Ceta CMOS (limited DED)	Screening, MicroED (limited)	Cost-effective, training/screening	Not suitable for high-resolution SPA
JEOL	CRYO ARM 300 II (JEM-Z300FSC)	300 kV	CFEG	Gatan K3/K2, Direct Electron DE64	SPA, cryo-ET/STA, MicroED	Cold FEG (high coherence), top-tier resolution, strong optics	Less integrated ecosystem
	CRYO ARM 200	200 kV	CFEG	Gatan K3/K2, DE64	SPA, cryo-ET	Excellent performance-cost ratio, high stability	Fewer turnkey automation tools
	JEM-3200FSC	300 kV	FEG	Gatan K2/K3, DE20	SPA, cryo-ET	Large installed base, proven	Legacy system, aging support
Hitachi High-Tech	HF8300	300 kV	FEG	Gatan K3/K2, DE64 (custom integration)	SPA, cryo-ET	High-voltage capability, flexible integration	Limited adoption in structural biology
	HT7800	120 kV	LaB6	CMOS, limited DED	Screening, MicroED	Reliable screening scope	Not suitable for high-resolution cryoEM
	SU9000 (TEM/STEM)	200 kV	CFEG	Limited cryo-compatible DEDs	Niche cryo, materials	Advanced optics	Not widely used for SPA/ET

Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kV_max), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.

Detector	Vendor	Key Features	Typical Pairing	Best Use Case
Falcon 4i	Thermo Fisher Scientific	EER mode, very high frame rate, high DQE	Krios, Glacios	High-throughput SPA, cryo-ET
Gatan K3	Gatan (AMETEK)	Counting mode, large FOV, super-resolution	JEOL + Thermo	High-resolution SPA (standard)
Gatan K2	Gatan	Previous-gen counting detector	Legacy systems	Established pipelines
DE64	Direct Electron	Large sensor, high throughput	JEOL, selected Thermo	Cryo-ET, large field-of-view
Apollo	Direct Electron	High frame rate, high throughput	Krios, Glacios, JEOLs	SPA and microED

Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.

Software	Main Function	Key Features	Reference
RELION	End-to-end SPA processing	Bayesian refinement, classification, CTF refinement	7, 12, 13
cryoSPARC	End-to-end SPA	Fast GPU pipelines, ab initio reconstruction	11
EMAN2	Image processing suite	Reconstruction, heterogeneity analysis (e2gmm)	14
cisTEM	SPA processing	User-friendly GUI, refinement and validation	15
SPHIRE	SPA (SPARX-based)	High-resolution refinement workflows	16
cryoDRGN	Heterogeneity analysis	Deep learning latent space reconstruction	17
Topaz	Particle picking	Deep learning-based picking	18
crYOLO	Particle picking	Real-time neural network picking	16
Warp	Preprocessing	Motion correction, CTF estimation, real-time processing	19
Model Angelo	Model building	Automated model building from maps	20
cryoET + STA
Software	Main Function	Key Features	Reference
IMOD	Tilt-series alignment & reconstruction	Gold standard for tomogram reconstruction	21
Dynamo	STA	Geometry-based particle picking, flexible workflows	22
emClarity	STA refinement	High-resolution STA, template matching	23
RELION (ET module)	STA refinement	Bayesian STA, integration with SPA workflows	24
EMAN2 (SPT)	STA	Subtomogram refinement tools	14
Warp/M	Preprocessing + STA	Real-time tomographic preprocessing	19
AreTomo	Tomogram reconstruction	Fast alignment and reconstruction	25
PEET	STA	Subtomogram averaging (IMOD-based)	26
PyTom	STA	Template matching, classification	27
Tomo3D	Reconstruction	Fast GPU tomogram reconstruction	28
crYOLO (3D)	Particle picking	ML-based picking in tomograms	16
AITom	AI-based analysis	Deep learning for segmentation and classification	29
MicroED
Software	Main Function	Key Features	Reference
DIALS	Diffraction processing	Integration of diffraction data	30
XDS	Data processing	Indexing and integration of diffraction data	31
MOSFLM	Data processing	Crystallography indexing	32
SHELX	Structure solution	Phasing and refinement	33
Phenix	Structure refinement	Automated model building	34
COOT	Model building	Manual model correction	35

Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.

Category	Software	Type	Primary Function	Key Features / Role in Facility
Operating System	Linux (Ubuntu, CentOS/Rocky)	OS	Core compute environment	HPC standard, GPU support, scripting, cluster deployment
Operating System	Windows	OS	User interface / workstation OS	Compatibility with vendor software, remote desktop access
File System	ZFS	File system	Data storage & integrity	Snapshots, redundancy, data integrity (checksums), scalable storage
Network File Sharing	NFS	Protocol	Linux-based file sharing	High-performance sharing across compute nodes
Network File Sharing	SMB (CIFS)	Protocol	Cross-platform file sharing	Windows–Linux interoperability
Remote Access	Microsoft Remote Desktop (RDP)	Remote access	GUI-based remote control	Native Windows remote access
Remote Access	NoMachine	Remote access	High-performance remote desktop	Fast GPU-enabled visualization, widely used in cryoEM
Remote Access	TeamViewer	Remote access	Remote support/access	Easy setup, cross-platform support
Remote Access	VirtualGL + TurboVNC	Remote visualization	GPU-accelerated remote rendering	Essential for remote cryoSPARC/RELION visualization
GPU Computing	CUDA	Compute framework	GPU acceleration	Required for cryoSPARC, RELION, deep learning tools
Data Transfer	Globus	Data transfer	Secure large-scale transfer	High-speed, fault-tolerant data movement across institutions

Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.

Tartışma

Bir kryo-EM tesisinin BT altyapısı, sonradan eklenen destekleyici bir unsur değil, operasyonel bir ön koşuldur. Yeterli depolama, ağ ve işlem kapasitesi olmadan veri toplamaya başlayan tesisler; ham verileri atmak, veri toplamayı durdurmak veya yapı belirleme sürecinde aylar süren gecikmeleri kabul etmek arasında kalmak zorunda kalırlar. Burada açıklanan protokoller, hesaplama omurgasının ilk kullanıcı oturumundan önce tasarlanmasını, test edilmesini ve doğrulanmasını sağlayarak bu sonuçların önüne geçmek için tasarlanmıştır.

Kriyo-EM BT tasarımındaki en önemli temel ilke, depolama ve ağ kapasitesinin tesis tasarımcısının tarihsel sezgilerine göre değil, dedektörün veri çıktısına uygun şekilde yapılandırılması gerektiğidir. EER modunda dedektör, film yığını başına 8–12 GB yazabilir; 24 saatlik bir oturum boyunca dakikada yaklaşık 15 film ile bu durum, herhangi bir sıkıştırma öncesinde yaklaşık 2–5 TB ham veri üretir. Anlık kayıpsız sıkıştırma (CryoSPARC-Live'da mevcuttur) bunu %50–70 oranında azaltabilse de, sıkıştırmanın devre dışı bırakılması veya başarısız olması durumunda ağ ve depolama sistemi sıkıştırılmamış yazma hızını kaldırabilecek kapasitede olmalıdır. Ortalama kapasite yerine pik kapasiteye göre tasarım yapmak esastır.

Anlık veri işleme, son yıllarda cryo-EM tesis operasyonlarındaki en etkili ilerlemelerden birini temsil etmektedir. Gerçek zamanlı işleme hatları mevcut olmadan önce, tesis personeli veri kalitesini toplama işleminden saatler veya günler sonrasına kadar değerlendirebilecek nesnel bir yönteme sahip değildi; bu süre zarfında ise seans sona ermiş ve numune ızgarası atılmış olabiliyordu. CryoSPARC-Live ile, tanınabilir ikincil yapıları gösteren 2D sınıf ortalamaları seans başlangıcından sonraki 2–4 sa içinde elde edilebilmekte, bu da ızgara seçimi, veri toplama parametrelerinin ayarlanması ve seansın uzatılması veya sonlandırılması hakkında bilinçli kararlar verilmesine olanak sağlamaktadır. Bu geri bildirim döngüsü, BT altyapısının bilimsel sonuçları iyileştirmesinin belki de en doğrudan yoludur.

Anlık iş akışının bilinen bir sınırlaması, konfigürasyon hatalarına karşı olan hassasiyetidir. Yanlış belirtilmiş bir piksel boyutu, hatalı bir kazanç referansı veya uyumsuz bir kare başı doz değeri tüm işlem hattı boyunca yayılacak; bu da yanıltıcı kalite metriklerine ve bozulmuş partikül yığınlarına yol açacaktır. Bu nedenle, veri toplama işlemi başlamadan önce tüm işlem hattı konfigürasyon parametrelerini açıkça doğrulayan standartlaştırılmış bir oturum öncesi kontrol listesi öneriyoruz. Daha geniş kapsamlı kriyojenik elektron mikroskobu (cryo-EM) tesis yönetimi literatüründe açıklandığı üzere, bu kontrol listesi havacılıktaki uçuş öncesi kontrol listelerine benzer şekilde, güvenliğe kritik bir belge olarak değerlendirilmelidir.

CryoSPARC-Live ve RELION arasındaki seçim, tesis önceliklerine bağlıdır. Canlı işleme platformu, üstün bir gerçek zamanlı web arayüzü, canlı ve çevrimdışı işleme ortamları arasında daha sıkı bir entegrasyon ve uzman olmayan kullanıcılar için daha basit bir konfigürasyon sunar. RELION, işleme parametreleri üzerinde daha ayrıntılı kontrol sağlar ve CryoSPARC'ta mevcut olan 3D sınıflandırma stratejileriyle (örneğin 3DVAR veya 3D-classification) karşılaştırıldığında, spesifik algoritmik seçeneklere (örneğin Bayesian polishing, spesifik 3D sınıflandırma stratejileri) ihtiyaç duyan kullanıcılar için tercih edilen platformdur. Birçok tesis, gerçek zamanlı izleme için CryoSPARC-Live'ı ve nihai yapı tayini için RELION'u kullanarak her ikisini paralel olarak kullanmaktadır.

Uzaktan erişim altyapısı özel bir vurguyu hak etmektedir. Deneyimlerimize göre, veri toplama sırasında kullanıcılar tarafından bildirilen sorunların çoğunluğu, mikroskop veya dedektör sorunlarından ziyade uzaktan erişim hatalarından kaynaklanmaktadır. Mikroskoba ve veri toplama iş istasyonlarına güvenilir, düşük gecikmeli uzak masaüstü erişimi bir lüks değil; çoğu kullanıcının tesisle etkileşime girdiği temel araçtır. Profesyonelce yapılandırılmış uzak masaüstü sunucularına yatırım yapmak, temsili kullanıcı konumlarından bağlantıyı test etmek ve bağlantı prosedürünü açıkça belgelemek, kullanıcı deneyimi üzerinde birçok daha pahalı donanım yatırımından daha büyük bir olumlu etki yaratacaktır.

Son olarak, tesis operasyonları başlamadan önce bir veri yönetim politikası oluşturulmalı ve kullanıcılara bildirilmelidir. Kullanıcılar sıklıkla veri setlerinin boyutunu olduğundan az, depolama tahsis sürelerini ise olduğundan fazla tahmin ederler. Ham veri saklama sürelerini, kullanıcı veri kotalarını, arşivleme prosedürlerini ve depolama aşım maliyeti geri kazanımını belirten net bir yazılı politika, hem tesisi hem de kullanıcılarını korur ve oturum ortasında depolama alanı tükendiğinde ortaya çıkan operasyonel krizleri önler.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Krios 5	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-5-cryo-tem.html	Geçirimli Elektron Mikroskobu
Krios G4	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-g4-cryo-tem.html	Geçirimli Elektron Mikroskobu
Glacios	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-cryo-tem.html	Geçirimli Elektron Mikroskobu
Glacios 2	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-2-cryo-tem.html	Geçirimli Elektron Mikroskobu
Glacios 3	ThermoFisher Scientific	https://www.thermofisher.com/ (en yeni nesil; ürün sayfası bölgeye göre değişiklik gösterebilir)	Geçirimli Elektron Mikroskobu
Talos Arctica	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-arctica.html	Geçirimli Elektron Mikroskobu
Talos L120C	ThermoFisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-l120c.html	Geçirimli Elektron Mikroskobu
CRYO ARM 300 II (JEM-Z300FSC)	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm300ii.php	Geçirimli Elektron Mikroskobu
CRYO ARM 200	JEOL	https://www.jeol.com/products/scientific/tem/cryoarm200.php	Geçirimli Elektron Mikroskobu
JEM-3200FSC	JEOL	https://www.jeol.com/products/scientific/tem/jem3200fsc.php	Geçirimli Elektron Mikroskobu
HF8300	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html	Geçirimli Elektron Mikroskobu
HT7800	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html	Geçirimli Elektron Mikroskobu
SU9000 (TEM/STEM)	Hitachi	https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html	Geçirimli Elektron Mikroskobu
Falcon 4i	Thermo Fisher Scientific	https://www.thermofisher.com/us/en/home/electron-microscopy/products/direct-electron-detectors/falcon-4i.html	Doğrudan Elektron Dedektörü
Gatan K3	Gatan (AMETEK)	https://gatan.com/products/tem-cameras/k3-is-camera	Doğrudan Elektron Dedektörü
Gatan K2	Gatan	https://gatan.com/products/tem-cameras/k2-camera	Doğrudan Elektron Dedektörü
Apollo	Direct Electron	https://directelectron.com/apollo/	Doğrudan Elektron Dedektörü
DE64	Direct Electron	https://directelectron.com/de-64/	Doğrudan Elektron Dedektörü
RELION	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	SPA yazılım paketi
cryoSPARC	Structura Biotechnology	https://cryosparc.com	SPA yazılım paketi
EMAN2	Baylor College of Medicine (Steven Ludtke Laboratuvarı tarafından geliştirilmiştir)	https://blake.bcm.edu/emanwiki/EMAN2	SPA yazılım paketi
cisTEM	National Research Council Canada (Tim Grant ve meslektaşları tarafından geliştirilmiştir)	https://cistem.org	SPA yazılım paketi
SPHIRE	Max Planck Institute of Molecular Physiology ve Baylor College of Medicine	https://sphire.mpg.de	SPA yazılım paketi
cryoDRGN	Princeton University (Ellen Zhong Laboratuvarı tarafından geliştirilmiştir)	https://cryodrgn.cs.princeton.edu	SPA yazılım paketi
Topaz	Harvard Medical School (Travis Bepler Laboratuvarı tarafından geliştirilmiştir)	https://github.com/tbepler/topaz	SPA yazılım paketi
crYOLO	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	SPA yazılım paketi
Warp	MRC Laboratory of Molecular Biology (Dmitry Tegunov tarafından geliştirilmiştir)	http://www.warpem.com	cryo-ET ve STA yazılım paketi
ModelAngelo	MRC Laboratory of Molecular Biology	https://www.modelangelo.org	cryo-ET ve STA yazılım paketi
IMOD	University of Colorado Boulder	https://bio3d.colorado.edu/imod	cryo-ET ve STA yazılım paketi
Dynamo	Centro Nacional de Biotecnología (CNB-CSIC)	https://www.dynamo-em.org	cryo-ET ve STA yazılım paketi
emClarity	University of California, San Francisco	https://github.com/StochasticAnalytics/emClarity	cryo-ET ve STA yazılım paketi
RELION (ET modülü)	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://relion.readthedocs.io	cryo-ET ve STA yazılım paketi
EMAN2 (SPT)	Baylor College of Medicine	https://blake.bcm.edu/emanwiki/EMAN2	cryo-ET ve STA yazılım paketi
Warp/M	MRC Laboratory of Molecular Biology	https://warpem.github.io	cryo-ET ve STA yazılım paketi
AreTomo	Stanford University (Fei Sun ve Wah Chiu grupları tarafından geliştirilmiştir)	https://github.com/czimaginginstitute/AreTomo2	cryo-ET ve STA yazılım paketi
PEET	University of Colorado Boulder	https://bio3d.colorado.edu/PEET	cryo-ET ve STA yazılım paketi
PyTom	Max Planck Institute of Biochemistry	https://pytom.org	cryo-ET ve STA yazılım paketi
Tomo3D	İspanya Ulusal Biyoteknoloji Merkezi (CNB-CSIC)	https://sites.google.com/site/3demimageprocessing/tomo3d	cryo-ET ve STA yazılım paketi
crYOLO (3D)	Max Planck Institute of Biophysics	https://cryolo.readthedocs.io	cryo-ET ve STA yazılım paketi
AITom	Carnegie Mellon University	https://github.com/xulabs/aitom	cryo-ET ve STA yazılım paketi
DIALS	Diamond Light Source ve iş birlikçileri	https://dials.github.io	microED yazılım paketi
XDS	Max Planck Institute for Medical Research (Wolfgang Kabsch tarafından geliştirilmiştir)	https://xds.mr.mpg.de	microED yazılım paketi
MOSFLM	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www.mrc-lmb.cam.ac.uk/mosflm	microED yazılım paketi
SHELX	University of Göttingen (George M. Sheldrick tarafından geliştirilmiştir)	https://shelx.uni-goettingen.de	microED yazılım paketi
Phenix	Lawrence Berkeley National Laboratory (PHENIX Konsorsiyumu)	https://phenix-online.org	microED yazılım paketi
Coot	MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge	https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot	microED yazılım paketi
Linux (Ubuntu, CentOS/Rocky)	Ubuntu: Canonical Ltd.; CentOS: CentOS Project; Rocky Linux: Rocky Enterprise Software Foundation (RESF)	https://ubuntu.com / https://www.centos.org (eski sürüm) /  https://rockylinux.org	İşletim Sistemi
Windows	Microsoft	https://www.microsoft.com/windows	İşletim Sistemi
ZFS	Oracle Corporation (başlangıçta Sun Microsystems); OpenZFS, OpenZFS topluluğu tarafından sürdürülmektedir	https://openzfs.org	Dosya Sistemi
NFS	Sun Microsystems (şu anda bir IETF standardı olarak sürdürülmektedir)	https://www.rfc-editor.org/rfc/rfc8881	Protokol
SMB (CIFS)	Microsoft	https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview	Protokol
Microsoft Remote Desktop (RDP)	Microsoft	https://learn.microsoft.com/windows-server/remote/remote-desktop-services	Uzaktan Erişim
NoMachine	NoMachine	https://www.nomachine.com	Uzaktan Erişim
TeamViewer	TeamViewer SE	https://www.teamviewer.com	Uzaktan Erişim
VirtualGL + TurboVNC	VirtualGL: VirtualGL Projesi; TurboVNC: TurboVNC Projesi	https://virtualgl.org ve https://turbovnc.org	Uzaktan Erişim
CUDA	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Bilgisayar Çerçevesi