В данном протоколе представлена практическая основа для проектирования и эксплуатации ИТ-инфраструктуры собственного центра криоэлектронной микроскопии (крио-ЭМ). Он охватывает планирование помещений, архитектуру сети, хранение данных, GPU-вычисления, удаленный доступ и обработку данных в реальном времени, что позволяет эффективно управлять многотерабайтными наборами данных, обеспечивая масштабируемость, устойчивость и высокую производительность операций крио-ЭМ.
Методическая статья
Проектирование и эксплуатация собственного центра криоэлектронной микроскопии с ИТ-инфраструктурой и конвейерами обработки данных в режиме реального времени
В этой статье
Краткое содержание
Аннотация
Криоэлектронная микроскопия (крио-ЭМ) стала основным методом высокоразрешающего определения структуры биологических макромолекул. По мере роста числа институциональных центров крио-ЭМ по всему миру возникла постоянная проблема: инфраструктура данных, необходимая для поддержки этих центров, зачастую планируется недостаточно тщательно. Современные приборы для крио-ЭМ в сочетании с детекторами прямого детектирования электронов (DED) генерируют от 2 до 5 ТБ необработанных данных в день, и центр, обслуживающий 20 пользователей, может накопить примерно 2 ПБ данных за один операционный год. Обработка этих данных требует выделенных вычислительных узлов с GPU, высокоскоростных внутренних сетей и надежных стратегий долгосрочного архивирования — все это должно быть подготовлено до начала сбора данных. В данном протоколе представлена интегрированная концепция ИТ- и вычислительного проектирования собственного центра крио-ЭМ. Мы рассматриваем требования к физическому оснащению помещения (планировка, электропитание, охлаждение и виброизоляция), выбор оборудования (микроскопы, DED и вспомогательные приборы), а также весь вычислительный стек: конфигурацию сетевых коммутаторов, выбор и определение объема серверов хранения данных, предоставление вычислительных узлов GPU и архитектуру удаленного доступа. Далее приводится подробный протокол реализации конвейеров обработки данных «на лету» — включая коррекцию движения, оценку функции переноса контраста (CTF), выбор частиц и 2D-классификацию в режиме реального времени во время сбора данных — с использованием стандартных отраслевых инструментов. Также рассматриваются стратегии передачи данных для внешних пользователей. Данное руководство восполняет критический пробел в литературе и позволит исследователям и администраторам создавать центры крио-ЭМ, которые будут полностью готовы к вычислительным нагрузкам с первого дня работы.
Введение
Революция разрешения в криоэлектронной микроскопии (крио-ЭМ) трансформировала структурную биологию, позволив визуализировать белки, нуклеиновые кислоты и макромолекулярные комплексы с атомным разрешением без необходимости их кристаллизации1,2. Эта трансформация стала возможной благодаря трем техническим достижениям: разработке детекторов прямого детектирования электронов (DED) с высокой частотой кадров, усовершенствованию электронной оптики и механики микроскопов, а также оптимизации программного обеспечения для обработки изображений с ускорением на базе GPU3,4,5,6. В совокупности эти достижения сделали крио-ЭМ предпочтительным методом для постоянно растущего сообщества структурных биологов.
Спрос на доступ к криоэлектронной микроскопии (крио-ЭМ) привел к значительным инвестициям как в крупные национальные центры, так и в небольшие институциональные лаборатории. Национальные центры — такие как NCCAT, S2C2, PNCC и MCCET в США, а также eBIC, NeCEN и SciLifeLab в Европе3,5,6, — предоставляют доступ к самым современным приборам для утвержденных проектов. Собственные лаборатории дополняют эти ресурсы, поддерживая итерационные специфические исследования с более короткими сроками выполнения и более тесным взаимодействием между пользователями и персоналом. Однако создание функционирующей внутренней лаборатории требует гораздо большего, чем просто покупка микроскопа: вспомогательная ИТ-инфраструктура имеет не меньшее значение, и ее недостаточность является основной причиной эксплуатационных сбоев в новых центрах6.
За одну сессию высокопроизводительной криоэлектронной томографии (cryo-EM) за 24 h может быть получено от 2 до 5 TB необработанных данных в формате movie. При использовании нескольких микроскопов и нескольких пользователей объем данных быстро достигает петабайтного масштаба. Обработка таких данных требует использования конвейеров с GPU-ускорением, которые должны функционировать одновременно со сбором данных7,8. Задержки в предварительной обработке приводят к несвоевременному получению обратной связи о качестве данных и неэффективному использованию времени работы прибора. Несмотря на эти реалии, в большинстве опубликованных руководств по управлению центрами cryo-EM ИТ-компонентам уделяется минимальное внимание, и ни одно из них не содержит пошагового операционного протокола по развертыванию и валидации полной инфраструктуры данных.
Данный протокол восполняет этот пробел. Мы описываем физические и технические требования к строительству помещения, критерии выбора микроскопов и детекторов и — что наиболее важно — проектирование и внедрение ИТ-инфраструктуры, которая делает работу центра криоэлектронной микроскопии (крио-ЭМ) операционно жизнеспособной6. Особое внимание уделяется обработке данных «на лету»: автоматизированной параллельной предварительной обработке данных непосредственно в процессе сбора, что позволяет осуществлять контроль качества в режиме реального времени, определять стратегию сбора данных и значительно сокращать время обработки результатов после завершения сессии9,10,11. Следуя этому протоколу, разработчики центров смогут создать полноценную интегрированную систему крио-ЭМ, которая будет устойчиво и эффективно обслуживать широкое научное сообщество.
Протокол
Подробная информация об оборудовании, программном обеспечении и материалах, используемых в данном протоколе, приведена в Таблице материалов.
1. Проектирование помещений, подбор персонала и планирование инфраструктуры
- Проведите оценку площадки. Выберите место для установки оборудования, которое обеспечит: виброизолированный пол (уровни внешних вибраций, в идеале < 1 µm/s СКЗ при 1–100 Гц); стабильность магнитного поля (< пространственный градиент 1 мГл/м и < временная вариация 0,1 мГс/м для приборов с ускоряющим напряжением 300 кВ); стабильная температура в помещении (18–22 °C с < 0.5 °C колебания); контроль влажности (40–60% относительной влажности); и низкий уровень акустического шума (<50 дБ). Рекомендуется ознакомиться с требованиями производителя микроскопа к помещению на раннем этапе планирования.
ПРИМЕЧАНИЕ: Переоборудование существующего помещения может стоить столько же, сколько новое строительство. Как правило, на подготовку помещения следует заложить в бюджет примерно 20% от стоимости покупки микроскопа. - Спроектируйте планировку помещения с четким пространственным разделением функциональных зон: (а) помещение(я) микроскопии для криогенных просвечивающих электронных микроскопов (крио-ПЭМ); (б) помещение для подготовки образцов (предпомещение) для работы с сетками и их хранения; (в) помещение управления, где размещаются чиллеры для воды, блоки ИБП и системы охлаждения микроскопов; и (г) отдельное серверное помещение или дата-центр для инфраструктуры хранения и вычислений.
ПРИМЕЧАНИЕ: Сохраните помещение контроллера ниже 26 °C постоянно, обеспечивая выделенное резервное питание и охлаждение. Колебания температуры в помещении с контроллером являются распространенной причиной простоя микроскопа. - Спланируйте инфраструктуру электроснабжения. Установите выделенные трехфазные цепи питания для высокотехнологичных крио-ПЭМ. Подключите все микроскопы, камеры и серверное оборудование к назначенной защищенной инфраструктуре электропитания. Скоординируйте действия с технической службой учреждения для установки аварийного генератора, способного поддерживать работу микроскопов и поток охлаждающей воды во время перебоев в электроснабжении.
ПРИМЕЧАНИЕ: Для безопасного цикла включения и выключения питания некоторых приборов в центре криоэлектронной микроскопии (крио-ЭМ) требуется более одного дня. Незапланированная потеря электропитания может привести к повреждению чувствительных печатных плат и потере данных активных сессий сбора данных. - Установите системы водяного охлаждения для электронного микроскопа и сопутствующего оборудования. Организуйте резервный контур охлаждения с автоматическим переключением при отказе основного. Обеспечьте непрерывный мониторинг скорости потока, температуры и электропроводности воды с помощью интегрированной системы мониторинга микроскопа или специализированного массива датчиков.
- Во время строительства или ремонта необходимо проложить оптоволоконные кабели от помещений для микроскопии до серверной. Рекомендуется использовать многомодовое волокно стандарта не ниже OM4 или одномодовое волокно OS2, обеспечив достаточный запас длины кабеля и установив промаркированные патч-панели с обоих концов.
ПРИМЕЧАНИЕ: Предварительная прокладка оптоволокна обходится существенно дешевле, чем его последующая установка. - Назначьте ответственных операторов микроскопов или специалистов центра для проведения технического обслуживания приборов, обучения пользователей, составления графика работы, оптимизации образцов и поддержки при сборе данных. Назначьте выделенный ИТ-персонал для управления инфраструктурой, мониторинга производительности сети, обеспечения кибербезопасности, резервного копирования данных, развертывания программного обеспечения, управления вычислительными ресурсами GPU и предоставления удаленного доступа для пользователей.
- Определите потребность в персонале в зависимости от уровня предоставляемой поддержки пользователей и сложности вычислительной инфраструктуры. В небольших центрах, таких как Центр криоэлектронной микроскопии биомолекул UCSC, эти обязанности может выполнять менеджер центра, обладающий компетенциями в области вычислений, или централизованные институциональные ИТ-службы; однако по мере увеличения количества микроскопов, пользователей и ежегодных сеансов сбора данных возникает растущая необходимость в специализированном персонале.
- Обеспечьте специализированную ИТ-поддержку центров, эксплуатирующих несколько крио-ПЭМ, для обеспечения бесперебойного сбора данных, эффективного управления данными и масштабируемости вычислительных ресурсов. Инвестируйте в надежную ИТ-инфраструктуру и персонал на ранних этапах развития центра, чтобы свести к минимуму время операционного простоя, упростить последующее расширение и создать устойчивую систему, способную поддерживать растущее сообщество пользователей и всё более ресурсоемкие рабочие процессы крио-ЭМ.
2. Выбор микроскопа и детектора
- Определите основную научную задачу центра перед выбором микроскопа. Учтите следующие аспекты: (а) будет ли основной рабочий процесс направлен на анализ отдельных частиц (SPA), криоэлектронную томографию (cryo-ET), микроэлектронную дифракцию (microED) или их комбинацию; (б) ожидаемый размер пользовательской базы и разнообразие проектов; (в) бюджетные ограничения как на приобретение, так и на текущие сервисные контракты.
- Оцените доступные платформы cryo-TEM в соответствии с предполагаемыми областями применения. Для SPA высокого разрешения и усреднения субтомограмм (STA) рассмотрите приборы с ускоряющим напряжением 300 kV. Для скрининга и сбора данных среднего разрешения рассмотрите приборы 200 kV. Для более бюджетного начального уровня с возможностью скрининга оцените варианты 100–120 kV (сведены в Таблице 1).
ПРИМЕЧАНИЕ: Технические спецификации часто меняются. Всегда запрашивайте актуальные данные о конфигурации и стоимость напрямую у производителя перед принятием окончательного решения о покупке оборудования. - Выберите детектор прямого детектирования электронов (DED), подходящий для данного микроскопа и области применения. Для SPA высокого разрешения на приборах Thermo Fisher Scientific (TFS) Falcon 4i в настоящее время является основным вариантом для серий Krios и Glacios.
- Для приборов JEOL CryoARM детектор Gatan K3 обеспечивает отличную чувствительность и частоту кадров. Для центров, ориентированных как на SPA, так и на microED, подтвердите совместимость детектора с режимами сбора данных электронной дифракции (Таблица 2).
ПРИМЕЧАНИЕ: DED является одним из самых дорогих компонентов оснащения центра и существенно влияет на качество данных и требования к их хранению. Режим Electron Event Register (EER), например, создает значительно более крупные необработанные файлы, чем традиционные сжатые форматы, что требует пропорционально большего объема памяти и пропускной способности сети. - При выборе конфигурации прибора для cryo-EM оцените роль энергофильтра, так как он может существенно повлиять на качество изображения, выбор детектора и общую производительность системы. Удаляя неупруго рассеянные электроны, энергофильтры улучшают контраст и соотношение сигнал/шум, что особенно полезно для сложных образцов, а также при применении SPA высокого разрешения (полезно), cryo-ET (критически важно) и microED (полезно).
- Оцените доступные системы энергофильтрации при выборе прибора. Системы Gatan Bioquantum и Biocontinuum или Thermo Fisher Scientific Selectris и SelectrisX обычно стоят примерно от 0,3 до 1,5 млн долларов США в зависимости от конфигурации.
- Перед окончательным выбором конфигурации прибора оцените дополнительные затраты и сложность, связанные с использованием энергофильтров в сочетании с возможностями детектора, целями центра и предполагаемыми задачами пользователей.
- При расчете общей стоимости приобретения учитывайте сервисные контракты. Сервисные контракты обычно охватывают микроскоп, энергофильтр, детектор и систему водяного охлаждения.
- Обсудите условия сервисного контракта, включая гарантии времени реагирования и доступность подменных запчастей, в момент покупки прибора. Заложите в бюджет 8–15% от стоимости покупки прибора в год на сервисное обслуживание.
3. Проектирование и реализация архитектуры сети
- Спроектируйте внутреннюю сеть установки вокруг центрального высокоскоростного коммутатора. Подключите все устройства, генерирующие и потребляющие данные, напрямую к этому коммутатору на максимально поддерживаемой скорости: контроллер микроскопа, контроллер камеры (зачастую отдельная рабочая станция), серверы хранения данных и вычислительные узлы с GPU.
- Обеспечьте соединение со скоростью не менее 10 Gbps для каждого устройства. По возможности выделите каналы связи (uplinks) со скоростью 25 Gbps или выше между коммутатором и узлами хранения и вычислений.
ПРИМЕЧАНИЕ: При скорости 1 Gbps передача 20 TB необработанных данных займет 2–3 дня. При 10 Gbps эта же передача займет 5–6 ч. При 25 Gbps это займет примерно 2 ч. Скорость сети напрямую определяет, сможет ли обработка данных «на лету» идти в ногу со скоростью сбора данных. - Подберите центральный коммутатор. Требования: (a) неблокирующая матрица коммутации при полной линейной скорости; (b) достаточное количество портов SFP+ или QSFP для всех устройств установки; (c) функциональность управляемого коммутатора (поддержка VLAN, мониторинг трафика, зеркалирование портов для диагностики); (d) резервные модули блоков питания. Выберите управляемый коммутатор корпоративного класса, который обеспечивает неблокирующую матрицу коммутации, достаточное количество высокоскоростных портов, функции управления трафиком и резервные источники питания.
- Сегментируйте сеть с помощью VLAN для разделения: (a) VLAN сбора данных (контроллеры микроскопа и камеры, серверы хранения); (b) VLAN вычислений (рабочие станции с GPU и узлы кластера); (c) VLAN управления (удаленный доступ, мониторинг, администрирование).
ПРИМЕЧАНИЕ: Сегментация сети снижает объем широковещательного трафика, повышает безопасность и позволяет независимо устранять неисправности в каждой подсистеме. - Подключите сеть установки к институциональной сети WAN через выделенный порт uplink на центральном коммутаторе. Канала uplink со скоростью 1–10 Gbps к университетской сети достаточно для удаленного доступа и внешней передачи данных.
- Скоординируйте с ИТ-отделом института назначение статических IP-адресов, записей DNS и соответствующих правил брандмауэра для всех устройств, доступных в рамках установки (Рисунок 1).
- Проложите и промаркируйте все сетевые кабели. Используйте кабели прямого подключения (DAC) или активные оптические кабели для соединений 10+ Gbps на расстояние до 100 м (экранированный Cat6A также подходит для 10 Gbps до 100 м); используйте готовые оптоволоконные сборки (LC-LC или MTP) для межстоечных соединений 25+ Gbps.
- Задокументируйте полную схему кабельных соединений с помощью сетевой диаграммы, где указаны названия устройств, IP-адреса, назначения портов и принадлежность к VLAN.
ПРИМЕЧАНИЕ: Схему рекомендуемой минимальной топологии сети для небольшой лаборатории крио-ЭМ см. на Рисунке 2.
4. Проектирование и развертывание сервера хранения данных
- Рассчитайте требования к объему хранения перед закупкой оборудования. В качестве базового ориентира: одна сессия крио-ЭМ высокого разрешения генерирует от 2 до 5 TB необработанных данных в день.
- Оцените потребности в долгосрочном хранении, исходя из предполагаемой загрузки центра. Центр с 20 пользователями и двумя микроскопами может сгенерировать примерно 2 PB данных за 3–6 месяцев работы. Планируйте хранилища как для необработанных данных (краткосрочное, высокопроизводительное), так и для обработанных данных (среднесрочное, большего объема), так как обработанные наборы данных часто в 10–20 раз больше исходных.
- Выберите надежную архитектуру хранения. Автономные серверы на базе ZFS рекомендуются в качестве отправной точки для большинства центров, так как они предлагают выгодное соотношение стоимости и емкости, встроенную проверку целостности данных (контрольные суммы), гибкие конфигурации, эквивалентные RAID (RAIDZ, RAIDZ2), и поддержку снимков (snapshots). Кластерные распределенные файловые системы (Gluster, Ceph, GPFS/IBM Spectrum Scale) могут обеспечить более высокую производительность и масштабируемость, но требуют наличия нескольких физических серверов и более сложного администрирования.
- Настройте пулы хранения ZFS. Рекомендуемая начальная конфигурация: два vdev RAIDZ2 (каждый из которых состоит из 6–8 SAS HDD большой емкости, по 16–20 TB каждый), что обеспечивает примерно 60–70% полезной емкости с защитой от одновременного выхода из строя двух дисков.
- Добавьте выделенный vdev SSD-кеша записи (L2ARC), используя 2–4 NVMe SSD, для ускорения производительности произвольного чтения при активных задачах обработки.
ПРИМЕЧАНИЕ: Не используйте SATA-диски потребительского класса в производственных массивах хранения. Диски Enterprise SAS или NL-SAS с номинальной расчетной нагрузкой (например, 550 TB/год) необходимы для устойчивых паттернов произвольного ввода-вывода в рабочих процессах крио-ЭМ. - Настройте экспорт NFS (для клиентов Linux) и общие ресурсы SMB (для клиентов Windows) на сервере хранения ZFS. Подмонтируйте основной общий ресурс данных на всех вычислительных узлах с GPU и на рабочей станции контроллера камеры, чтобы обеспечить прямой доступ к данным без промежуточного копирования.
- Установите политику хранения и жизненного цикла данных. Определите: (а) период хранения необработанных фильмов (обычно 3–6 месяцев после сбора); (б) период хранения микрофотографий с коррекцией движения; (в) период хранения конечных обработанных наборов данных (бессрочно до публикации); (г) процедуру архивирования завершенных проектов.
- Внедрите автоматические уведомления, когда заполненность хранилища превышает 70% емкости, чтобы своевременно закупить дополнительное место.
ПРИМЕЧАНИЕ: Хранение данных — это самая часто недооцениваемая статья расходов при планировании центра крио-ЭМ. Не путайте одобрение закупки микроскопа с обеспечением достаточного финансирования хранилища. Закупка систем хранения должна планироваться параллельно с установкой прибора, а не после начала сбора данных.
5. Вычислительная инфраструктура GPU
- Определите требования к вычислительным мощностям исходя из ожидаемой пропускной способности. Для одного микроскопа, генерирующего 3 000–5 000 микрофотографий за 24-часовую сессию, требуется минимум два вычислительных узла, каждый из которых оснащен 4 видеокартами NVIDIA GPU (архитектуры Maxwell или новее, VRAM 11+ GB, например, RTX 3090, RTX 4090 или A100), чтобы поддерживать предварительную обработку данных в режиме реального времени со скоростью сбора.
- Для более крупных центров или рабочих процессов крио-ЭТ с большим объемом серий наклонов предусмотрите дополнительные узлы.
- Определите аппаратное обеспечение вычислительного узла GPU. Каждый узел должен включать: (a) 4 GPU NVIDIA с поддержкой CUDA (минимум 24 GB VRAM на каждый GPU для CryoSPARC и 3D-рефаймента в RELION); (b) многоядерный процессор (AMD EPYC или Intel Xeon, ≥32 ядер) для поддержки параллельных этапов, ограниченных мощностью CPU (оценка CTF, ввод-вывод файлов); (c) ≥256 GB системной оперативной памяти RAM; (d) 2–4 TB локального временного пространства NVMe SSD для промежуточных данных активных заданий; (e) сетевую интерфейсную карту (NIC) 10/25 Gbps; (f) достаточное локальное хранилище для рабочих наборов данных (обычно RAID-массив). ПРИМЕЧАНИЕ: GPU потребительского класса (RTX 4090) могут обеспечивать производительность, сопоставимую с альтернативами корпоративного класса (A100), при значительно меньшей стоимости для рабочих нагрузок крио-ЭМ. Оцените бенчмарки конкретно для CryoSPARC и RELION, так как паттерны доступа к памяти в этих программах предполагают использование GPU с высокой пропускной способностью памяти.
- Установите стек драйверов NVIDIA, инструментарий CUDA (версия, совместимая с CryoSPARC и RELION) и cuDNN на каждый вычислительный узел. Используйте средство управления конфигурацией для стандартизации программных сред на всех узлах и упрощения будущих обновлений.
- Разверните CryoSPARC в автономной конфигурации или в конфигурации кластера. Для многоузлового центра установите CryoSPARC-master на выделенном главном узле (head node), а CryoSPARC-worker — на каждом вычислительном узле GPU.
- Настройте планировщик заданий, чтобы несколько пользователей могли отправлять задания на обработку одновременно. Следуйте официальной документации по архитектуре CryoSPARC в отношении минимальных системных требований и конфигурации сети.
- Установите RELION параллельно с основной платформой обработки, чтобы предоставить пользователям обе экосистемы обработки. Настройте программное обеспечение для использования локальных вычислительных узлов через планировщик (SLURM или PBS/Torque).
- Установите вспомогательные инструменты: MotionCor2 (коррекция движения), CTFFIND4 и Gctf (оценка CTF), TOPAZ (подбор частиц на основе машинного обучения), crYOLO (нейросетевой подбор частиц) и cryoDRGN (анализ гетерогенности). Обзор доступных программных пакетов для SPA, крио-ЭТ, STA и микро-ЭД приведен в Таблице 3.
- Используйте развертывание консорциума SBGrid или контейнерное управление программным обеспечением (Singularity/Apptainer для HPC-сред; Docker для рабочих станций) для поддержания воспроизводимых версионных программных сред.
ПРИМЕЧАНИЕ: SBGrid предоставляет предварительно скомпилированные, проверенные сборки всех основных инструментов ПО для крио-ЭМ с автоматизированным управлением обновлениями для академических институтов.
6. Инфраструктура удаленного доступа
- Организуйте удаленный доступ на базе VPN в качестве основной защищенной точки входа для всех пользователей и персонала, работающих вне объекта. Совместно с ИТ-отделом организации создайте специализированный профиль или туннель VPN для конкретного центра, который обеспечит доступ к вычислительной сети и сети хранения данных центра, не подвергая устройства воздействию общего открытого интернета.
- Внедрите двухфакторную аутентификацию (2FA) на всех точках удаленного доступа (Рисунок 2).
- Разверните программное обеспечение для удаленного рабочего стола для графического доступа к контроллерам микроскопов и рабочим станциям с GPU. Рекомендуемые варианты: (а) TeamViewer (коммерческое, кроссплатформенное, с обходом NAT — подходит для доступа к контроллерам микроскопов); (б) NoMachine (коммерческое, кроссплатформенное, поддерживает пересылку 3D-графики OpenGL — рекомендуется для рабочих станций с GPU, использующих инструменты визуализации); (в) TurboVNC с VirtualGL (с открытым исходным кодом, только для Linux, поддерживает удаленный 3D-рендеринг).
ПРИМЕЧАНИЕ: Многие инструменты визуализации крио-ЭМ используют OpenGL для 3D-рендеринга. Стандартная пересылка X11 не поддерживает OpenGL с аппаратным ускорением. Для этих приложений используйте NoMachine или VirtualGL/TurboVNC. - Настройте удаленный доступ к программному обеспечению для сбора данных микроскопа. Для удаленного управления через институциональный VPN используйте Leginon или SerialEM. Доступ к ПО для сбора данных микроскопа может быть осуществлен удаленно через утвержденное приложение удаленного рабочего стола.
- Протестируйте удаленное подключение из репрезентативных внешних локаций (домашние сети, партнерские организации) перед запуском полноценной работы пользователей (Таблица 4).
- Создайте веб-панель мониторинга центра, чтобы персонал и пользователи могли удаленно отслеживать статус сбора данных, результаты предварительной обработки, использование хранилища и состояние очереди вычислений. Leginon включает встроенный веб-интерфейс мониторинга.
- Для рабочего процесса CryoSPARC настройте Grafana или пользовательскую веб-панель, данные в которую поступают из логов конвейера и инструментов системного мониторинга (Prometheus, node_exporter).
- Организуйте механизм передачи данных внешним пользователям. Настройте сервис аутентифицированной передачи данных, такой как Globus Connect Server, на хранилище центра.
- Для пользователей без доступа к Globus подготовьте процедуры отправки USB-жестких дисков с документированием контрольных сумм. Для практической возможности прямой загрузки внешними пользователями наборов данных объемом в несколько ТБ необходим интернет-канал с пропускной способностью 10 Gbps.
7. Рабочий процесс обработки данных в режиме реального времени: реализация
- Перед каждым сеансом сбора данных предварительно настройте путь потока данных. Убедитесь, что: (а) контроллер камеры записывает необработанные (raw) фильмы напрямую в высокопроизводительное хранилище учреждения, смонтированное через NFS; (б) NFS-ресурс смонтирован и доступен на всех вычислительных узлах с GPU; (в) имеется достаточный объем свободного места для планируемого сеанса (минимум 5 TB свободного места для 24-часового сеанса SPA); (г) вычислительные узлы с GPU доступны и нет длительных заданий, которые могли бы конкурировать за ресурсы.
- Настройте коррекцию по эталонному усилению (gain reference). Перед каждым сеансом снимите эталонное изображение усиления согласно спецификациям производителя детектора (обычно это экспозиция пустого пучка на пустом участке сетки).
- Поместите файл эталонного усиления в соответствующий входной каталог для предварительной обработки. Все программное обеспечение для коррекции дрифта (MotionCor2, собственная реализация RELION) применит этот эталон автоматически при правильной настройке.
- Запустите конвейер предварительной обработки «на лету» с помощью CryoSPARC-Live (предпочтительно для визуализации в реальном времени). Конвейер следует инициировать после появления первых фильмов в выходном каталоге — обычно в течение первых 5–10 мин автоматического сбора данных.
ПРИМЕЧАНИЕ: CryoSPARC-Live продолжает отслеживать указанный каталог на предмет появления новых файлов фильмов и обрабатывает их по мере поступления. Ключевое отличие заключается в том, что CryoSPARC-Live предоставляет интерактивный веб-интерфейс для мониторинга в реальном времени. - Рабочий процесс CryoSPARC-Live
- В веб-интерфейсе перейдите к новому или существующему проекту и создайте новый живой сеанс (live session)11,36.
- Настройте источник входных данных: укажите путь к каталогу, в который пишет контроллер камеры («папка наблюдения»), шаблон имени файлов для необработанных фильмов (например, *.tif, *.mrc или *.eer для данных Falcon 4i в формате EER) и путь к файлу эталонного усиления.
- Установите параметры коррекции дрифта: количество используемых кадров, патч-коррекцию дрифта (рекомендуется: патчи 5x5), коэффициент биннинга на выходе (обычно 1 для сбора данных вблизи предела Найквиста; 2 для первичного скрининга) и дозу электронов на кадр (рассчитывается на основе общей дозы и количества кадров).
- Установите параметры оценки CTF: минимальное и максимальное разрешение для аппроксимации (обычно 30 Å и 4 Å), диапазон поиска дефокусировки (для SPA рекомендуется 0,5–5 µm) и максимально допустимый астигматизм. Включите оценку CTF для каждого наклона для наборов данных cryo-ET.
- Настройте отбор частиц (particle picking): выберите метод отбора (blob-пикер для начальных сеансов; шаблонный пикер после появления первых качественных 2D-классов; TOPAZ-пикер для сложных образцов). Установите ожидаемый диаметр частиц и минимальный/максимальный интервал между частицами.
- Для существенного снижения требований к объему хранилища, нагрузки при передаче данных и вычислительных затрат рекомендуется выполнять фурье-кроппинг при извлечении частиц с коэффициентом 4 (что приводит к увеличению физического размера пикселя в 4 раза). Для рутинной оценки качества данных при обработке «на лету» обычно достаточно промежуточного разрешения 3–5 Å.
- Включите 2D-классификацию в рамках живого сеанса. Установите количество 2D-классов (обычно 50–200), размер пакета для инкрементальных обновлений (200–500 частиц) и предел разрешения для классификации (6–8 Å для первичной оценки).
- Запустите живой сеанс. Мониторьте панель управления в реальном времени: количество и скорость поступления фильмов, качество коррекции дрифта (суммарный дрифт на фильм — как правило, фильмы с общим дрифтом >30 Å следует отклонять), качество аппроксимации CTF (отклоняйте микрофотографии с разрешением аппроксимации CTF >6–8 Å), выход частиц с одной микрофотографии и эволюцию качества усредненных 2D-классов.
- Установите пороги принятия для автоматической курации. В панели фильтров (Filters) определите критерии отклонения по дрифту (предел суммарного дрифта), качеству CTF (предел разрешения аппроксимации) и диапазону дефокусировки (исключите микрофотографии с чрезмерной недофокусировкой или перефокусировкой). Одобренные частицы автоматически направляются на последующее задание по 2D-классификации.
8. Контроль качества и обратная связь в режиме реального времени во время сбора данных
- Непрерывно отслеживайте статистику CTF на протяжении всей сессии. Постройте график значений дефокусировки для каждой микрофотографии: распределение должно группироваться в пределах заданного диапазона дефокусировки (обычно от −0.5 до −3.0 µm для SPA).
- Систематический дрейф в сторону более высоких значений дефокусировки может указывать на дрейф предметного столика или неправильную калибровку эуцентрической высоты. Немедленно сообщите персоналу центра, если разрешение аппроксимации CTF упадет ниже 6 Å, так как это обычно указывает на загрязнение льдом, нестабильность пучка или дрейф фокуса, требующий вмешательства.
- Контролируйте результаты коррекции движения. Общее внутрикадровое смещение на одно видео должно составлять менее 10–30 Å для высококачественных данных. Систематически высокое смещение в первых кадрах является ожидаемым и корректируется; однако высокая подвижность, сохраняющаяся на протяжении всего видео (общий сдвиг >40 Å), может указывать на механическую нестабильность столика или зарядку образца и требует исследования.
- Проверяйте усредненные 2D-классы по мере их обновления в ходе сессии (каждые 30–60 мин). Признаки высококачественного набора данных: усредненные классы, демонстрирующие особенности вторичной структуры, наличие множества различных ракурсов частиц, а также отсутствие артефактов наслоения или агрегации.
- Следите за индикаторами, требующими вмешательства: сортировка всех частиц в безликие «мусорные» классы (что говорит о плохом качестве образца или льда), полное отсутствие определенных ракурсов (что указывает на преимущественную ориентацию и может потребовать оптимизации сеток) или крайне низкий выход частиц на одну микрофотографию.
- Записывайте все наблюдения в структурированный журнал сессии. Фиксируйте: время начала/окончания сессии, настройки микроскопа и камеры, сводку статистики в реальном времени (общее количество собранных видео, доля прошедших фильтр CTF, доля прошедших фильтр движения, общее количество отобранных частиц, оценка 2D-классов) и любые предпринятые корректирующие действия. Этот журнал необходим для ретроспективной оценки качества и отчетности о работе центра.
- По окончании сессии сформируйте сводный отчет о качестве данных. Платформа для обработки данных в реальном времени экспортирует резюме сессии автоматически.
ПРИМЕЧАНИЕ: Еще одним вариантом создания сводок и отчетов является использование инструментов ИИ, таких как Vitreum. В Центре биомолекулярной криоэлектронной микроскопии UCSC платформа Vitreum используется для управления лабораторными рабочими процессами и экспериментальной документацией. Vitreum фиксирует этапы эксперимента по мере их выполнения, обеспечивает соблюдение ограничений на уровне протокола, проверяет выполнение рабочего процесса на соответствие предопределенным критериям качества и предоставляет проверяемый журнал лабораторной деятельности. Интегрируя лабораторные операции с вычислительной инфраструктурой и системой управления данными центра, платформа сводит к минимуму ручной учет, повышает воспроизводимость, облегчает взаимодействие между персоналом центра и пользователями, а также обеспечивает последовательное отслеживание экспериментов от подготовки образцов до сбора данных и последующего компьютерного анализа.
9. Конвейер обработки данных после сбора
- После завершения предварительной обработки в режиме реального времени экспортируется курированный стек бинированных частиц вместе с курированными предварительно обработанными фильмами.
- Отсоедините проект CryoSPARC от основной рабочей станции, а затем снова подключите его к другой общей, удаленно доступной рабочей станции. Это позволяет быстро разгрузить данные и подготовиться к началу следующего сеанса сбора данных.
ПРИМЕЧАНИЕ: Типичный сбор данных может занимать от 1 до 2 дней и легко отслеживается с помощью CryoSPARC-Live. Однако этапы 3D-обработки могут занять недели или месяцы, что оправдывает перенос проекта между рабочими станциями и серверами хранения. - В CryoSPARC экспортируйте курированные бинированные частицы из активного сеанса в стандартный проект для офлайн 3D-обработки36.
- Выполните 3D-реконструкцию ab initio. В CryoSPARC используйте задание Ab Initio Reconstruction (для гетерогенных образцов рекомендуется 3–5 начальных моделей). Сгенерируйте 1–4 начальные модели для оценки структурной гетерогенности.
- Когда реконструированные значения станут удовлетворительными, повторно извлеките небинированные частицы для повышения общего разрешения.
- Выполните 3D-уточнение, используя гетерогенное уточнение (если предполагается наличие нескольких конформаций или классов), с последующим гомогенным уточнением для лучшего класса. В CryoSPARC используйте гетерогенное уточнение (heterogeneous refinement), а затем неоднородное уточнение (non-uniform refinement).
- Примените байесовскую полировку в RELION13 или используйте коррекцию движения для каждой частицы и уточнение CTF (в CryoSPARC: задание CTF refinement), чтобы улучшить сигнал каждой частицы за счет учета движения, вызванного пучком, и дефокусировки каждой частицы, в зависимости от предпочтений пользователя. Этот этап обычно повышает конечное разрешение карты на 0.2–0.5 Å. Кроме того, в качестве варианта для повышения разрешения и качества карты может быть использована коррекция движения на основе референса (RBMC) в CryoSPARC.
- Проведите валидацию финальной карты с помощью стандартной процедуры расчета корреляции Фурье-оболочек (FSC). Разделите стек частиц на два независимых полунабора, проведите независимое уточнение и рассчитайте FSC между двумя полукартами. Укажите конечное разрешение при FSC = 0.143.
- Рассчитайте FSC карты и модели (FSC-Q) и Q-баллы после подгонки атомной модели в качестве независимых метрик валидации37.
- Выполните построение и валидацию атомной модели. Используйте ModelAngelo для автоматизированного построения модели de novo по карте плотности20. Уточните модель с помощью уточнения в реальном пространстве в PHENIX и проведите валидацию с помощью MolProbity.
- После генерации начальной модели используйте COOT35 для визуализации карты плотности, подгонки или корректировки атомных координат, исправления ошибок моделирования, достройки недостающих участков и оптимизации структур белков, нуклеиновых кислот или лигандов. Программа позволяет интерактивно редактировать остатки, конформации боковых цепей, вторичные структуры и назначения последовательностей с последующим уточнением в реальном пространстве для улучшения соответствия между атомной моделью и экспериментальной плотностью.
- В завершение депонируйте окончательную атомную модель в Protein Data Bank (PDB), карту плотности в Electron Microscopy Data Bank (EMDB), а исходные или предварительно обработанные данные — в Electron Microscopy Public Image Archive (EMPIAR).
Результаты
A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:
Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.
On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.
2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.
Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.
Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.
Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.
| Manufacturer | Model | kVmax | Electron Source | Compatible DEDs | Primary Applications | Strengths | Limitations/Notes |
| Thermo Fisher Scientific | Krios G4/Krios 5 | 300 kV | XFEG/CFEG | Falcon 4i, Falcon 3EC, Gatan K3/K2 | SPA, cryo-ET/STA, MicroED | Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å) | Highest cost, infrastructure demanding |
| Glacios 2 | 200 kV | XFEG | Falcon 4i, Falcon 4, Gatan K3 | SPA, cryo-ET, MicroED | Strong performance at lower cost, compact footprint, high accessibility | Lower ultimate resolution vs 300 kV | |
| Talos Arctica | 200 kV | XFEG | Falcon 3, Falcon 4, Gatan K2/K3 | SPA, cryo-ET | Proven, robust, widely adopted | Older generation, less automation | |
| Talos L120C | 120 kV | LaB6 | Ceta CMOS (limited DED) | Screening, MicroED (limited) | Cost-effective, training/screening | Not suitable for high-resolution SPA | |
| JEOL | CRYO ARM 300 II (JEM-Z300FSC) | 300 kV | CFEG | Gatan K3/K2, Direct Electron DE64 | SPA, cryo-ET/STA, MicroED | Cold FEG (high coherence), top-tier resolution, strong optics | Less integrated ecosystem |
| CRYO ARM 200 | 200 kV | CFEG | Gatan K3/K2, DE64 | SPA, cryo-ET | Excellent performance-cost ratio, high stability | Fewer turnkey automation tools | |
| JEM-3200FSC | 300 kV | FEG | Gatan K2/K3, DE20 | SPA, cryo-ET | Large installed base, proven | Legacy system, aging support | |
| Hitachi High-Tech | HF8300 | 300 kV | FEG | Gatan K3/K2, DE64 (custom integration) | SPA, cryo-ET | High-voltage capability, flexible integration | Limited adoption in structural biology |
| HT7800 | 120 kV | LaB6 | CMOS, limited DED | Screening, MicroED | Reliable screening scope | Not suitable for high-resolution cryoEM | |
| SU9000 (TEM/STEM) | 200 kV | CFEG | Limited cryo-compatible DEDs | Niche cryo, materials | Advanced optics | Not widely used for SPA/ET |
Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kVmax), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.
| Detector | Vendor | Key Features | Typical Pairing | Best Use Case |
| Falcon 4i | Thermo Fisher Scientific | EER mode, very high frame rate, high DQE | Krios, Glacios | High-throughput SPA, cryo-ET |
| Gatan K3 | Gatan (AMETEK) | Counting mode, large FOV, super-resolution | JEOL + Thermo | High-resolution SPA (standard) |
| Gatan K2 | Gatan | Previous-gen counting detector | Legacy systems | Established pipelines |
| DE64 | Direct Electron | Large sensor, high throughput | JEOL, selected Thermo | Cryo-ET, large field-of-view |
| Apollo | Direct Electron | High frame rate, high throughput | Krios, Glacios, JEOLs | SPA and microED |
Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.
| Software | Main Function | Key Features | Reference |
| RELION | End-to-end SPA processing | Bayesian refinement, classification, CTF refinement | 7, 12, 13 |
| cryoSPARC | End-to-end SPA | Fast GPU pipelines, ab initio reconstruction | 11 |
| EMAN2 | Image processing suite | Reconstruction, heterogeneity analysis (e2gmm) | 14 |
| cisTEM | SPA processing | User-friendly GUI, refinement and validation | 15 |
| SPHIRE | SPA (SPARX-based) | High-resolution refinement workflows | 16 |
| cryoDRGN | Heterogeneity analysis | Deep learning latent space reconstruction | 17 |
| Topaz | Particle picking | Deep learning-based picking | 18 |
| crYOLO | Particle picking | Real-time neural network picking | 16 |
| Warp | Preprocessing | Motion correction, CTF estimation, real-time processing | 19 |
| Model Angelo | Model building | Automated model building from maps | 20 |
| cryoET + STA | |||
| Software | Main Function | Key Features | Reference |
| IMOD | Tilt-series alignment & reconstruction | Gold standard for tomogram reconstruction | 21 |
| Dynamo | STA | Geometry-based particle picking, flexible workflows | 22 |
| emClarity | STA refinement | High-resolution STA, template matching | 23 |
| RELION (ET module) | STA refinement | Bayesian STA, integration with SPA workflows | 24 |
| EMAN2 (SPT) | STA | Subtomogram refinement tools | 14 |
| Warp/M | Preprocessing + STA | Real-time tomographic preprocessing | 19 |
| AreTomo | Tomogram reconstruction | Fast alignment and reconstruction | 25 |
| PEET | STA | Subtomogram averaging (IMOD-based) | 26 |
| PyTom | STA | Template matching, classification | 27 |
| Tomo3D | Reconstruction | Fast GPU tomogram reconstruction | 28 |
| crYOLO (3D) | Particle picking | ML-based picking in tomograms | 16 |
| AITom | AI-based analysis | Deep learning for segmentation and classification | 29 |
| MicroED | |||
| Software | Main Function | Key Features | Reference |
| DIALS | Diffraction processing | Integration of diffraction data | 30 |
| XDS | Data processing | Indexing and integration of diffraction data | 31 |
| MOSFLM | Data processing | Crystallography indexing | 32 |
| SHELX | Structure solution | Phasing and refinement | 33 |
| Phenix | Structure refinement | Automated model building | 34 |
| COOT | Model building | Manual model correction | 35 |
Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.
| Category | Software | Type | Primary Function | Key Features / Role in Facility |
| Operating System | Linux (Ubuntu, CentOS/Rocky) | OS | Core compute environment | HPC standard, GPU support, scripting, cluster deployment |
| Operating System | Windows | OS | User interface / workstation OS | Compatibility with vendor software, remote desktop access |
| File System | ZFS | File system | Data storage & integrity | Snapshots, redundancy, data integrity (checksums), scalable storage |
| Network File Sharing | NFS | Protocol | Linux-based file sharing | High-performance sharing across compute nodes |
| Network File Sharing | SMB (CIFS) | Protocol | Cross-platform file sharing | Windows–Linux interoperability |
| Remote Access | Microsoft Remote Desktop (RDP) | Remote access | GUI-based remote control | Native Windows remote access |
| Remote Access | NoMachine | Remote access | High-performance remote desktop | Fast GPU-enabled visualization, widely used in cryoEM |
| Remote Access | TeamViewer | Remote access | Remote support/access | Easy setup, cross-platform support |
| Remote Access | VirtualGL + TurboVNC | Remote visualization | GPU-accelerated remote rendering | Essential for remote cryoSPARC/RELION visualization |
| GPU Computing | CUDA | Compute framework | GPU acceleration | Required for cryoSPARC, RELION, deep learning tools |
| Data Transfer | Globus | Data transfer | Secure large-scale transfer | High-speed, fault-tolerant data movement across institutions |
Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.
Обсуждение
IT-инфраструктура центра криоэлектронной микроскопии (крио-ЭМ) не является второстепенным вспомогательным элементом — это необходимое условие для функционирования. Центры, которые начинают сбор данных без надлежащих мощностей для хранения, передачи и обработки информации, неизбежно сталкиваются с выбором: удалять необработанные данные, прекращать сбор данных или мириться с многомесячными задержками в определении структуры. Описанные здесь протоколы предназначены для предотвращения таких последствий путем обеспечения проектирования, тестирования и валидации вычислительной базы до начала первой пользовательской сессии.
Самым важным принципом при проектировании ИТ-инфраструктуры для крио-ЭМ является то, что мощности хранилища и сети должны быть рассчитаны в соответствии с объемом данных, выводимых детектором, а не основываться на прежних представлениях проектировщика объекта. В режиме EER детектор может записывать 8–12 GB на один стек кадров; при скорости около 15 кадров в минуту в течение 24-часовой сессии это дает примерно 2–5 TB необработанных данных до какого-либо сжатия. Хотя сжатие без потерь «на лету» (доступное в CryoSPARC-Live) может сократить этот объем на 50–70%, сеть и хранилище должны быть способны справиться со скоростью записи несжатых данных на случай, если сжатие будет отключено или произойдет сбой. Крайне важно проектировать систему с учетом пиковой, а не средней пропускной способности.
Обработка данных «на лету» представляет собой одно из наиболее значимых достижений в работе центров криоэлектронной микроскопии (крио-ЭМ) за последние годы. До появления конвейеров обработки в реальном времени персонал центров не имел объективного способа оценки качества данных до истечения нескольких часов или дней после сбора, к тому времени сеанс уже завершался, а сеточки с образцами могли быть утилизированы. С помощью CryoSPARC-Live 2D-усредненные классы, демонстрирующие узнаваемую вторичную структуру, могут быть получены в течение 2–4 h после начала сеанса, что позволяет принимать обоснованные решения о выборе сеточки, корректировке параметров сбора данных, а также о продлении или прекращении сеанса. Такая петля обратной связи, пожалуй, является самым прямым способом, с помощью которого ИТ-инфраструктура улучшает научные результаты.
Известным ограничением рабочего процесса «на лету» является его чувствительность к ошибкам конфигурации. Неправильно указанный размер пикселя, ошибочный опорный коэффициент усиления или не соответствующее значение дозы на кадр приведут к распространению ошибки через весь конвейер обработки, что вызовет появление недостоверных показателей качества и поврежденных стеков частиц. В связи с этим мы рекомендуем использовать стандартизированный контрольный список перед началом сессии, который позволяет четко проверить все параметры конфигурации конвейера до начала сбора данных. Этот список следует рассматривать как критически важный документ по технике безопасности, аналогичный предполетным чек-листам в авиации, как описано в более широкой литературе по управлению центрами криоэлектронной микроскопии.
Выбор между CryoSPARC-Live и RELION зависит от приоритетов конкретного центра. Платформа для обработки в режиме реального времени предлагает более совершенный веб-интерфейс, более тесную интеграцию между средами онлайн- и офлайн-обработки, а также более простую настройку для пользователей, не являющихся экспертами. RELION обеспечивает более детальный контроль над параметрами обработки и является предпочтительной платформой для пользователей, которым требуются специфические алгоритмические опции (например, байесовская полировка, определенные стратегии 3D-классификации) по сравнению со стратегиями 3D-классификации (например, 3DVAR или 3D-classification), представленными в CryoSPARC. Многие центры используют обе системы параллельно, применяя CryoSPARC-Live для мониторинга в реальном времени, а RELION — для окончательного определения структуры.
Особое внимание следует уделить инфраструктуре удаленного доступа. По нашему опыту, большинство проблем, о которых сообщают пользователи во время сбора данных, связаны с отказами удаленного доступа, а не с неисправностями микроскопа или детектора. Надежный удаленный доступ к рабочим станциям микроскопа и сбора данных с низкой задержкой — это не роскошь, а основной способ взаимодействия большинства пользователей с оборудованием центра. Инвестиции в профессионально настроенные серверы удаленного рабочего стола, тестирование соединения из типичных локаций пользователей и четкое документирование процедуры подключения окажут более значительное положительное влияние на пользовательский опыт, чем многие более дорогостоящие вложения в аппаратное обеспечение.
Наконец, до начала работы центра должна быть разработана и доведена до сведения пользователей политика управления данными. Пользователи часто недооценивают объем своих наборов данных и переоценивают период выделенного им хранилища. Четко сформулированная письменная политика, определяющая сроки хранения необработанных данных, квоты пользователей, процедуры архивирования и механизмы компенсации затрат при превышении лимита памяти, защищает как центр, так и его пользователей, а также предотвращает операционные кризисы, возникающие при исчерпании ресурсов хранилища в середине сессии.
Раскрытие информации
Авторы заявляют об отсутствии конфликта интересов.
Благодарности
Авторы выражают благодарность Центру биомолекулярной криоэлектронной микроскопии при кафедре химии и биохимии Калифорнийского университета в Санта-Круз (RRID: SCR_021755) за научную и техническую поддержку (программа NIH по высокотехнологичному оборудованию, S10OD02509).
Материалы
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Криос 5 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-5-cryo-tem.html | Электронный микроскоп с просвечиванием |
| Krios G4 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-g4-cryo-tem.html | Электронный микроскоп с просвечиванием |
| Гляциос | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-cryo-tem.html | Электронный микроскоп с просвечиванием |
| Glacios 2 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-2-cryo-tem.html | Электронный микроскоп с просвечиванием |
| Glacios 3 | ThermoFisher Scientific | https://www.thermofisher.com/ (новейшее поколение; страница продукта может отличаться в зависимости от региона) | Трансмиссионный электронный микроскоп |
| Talos Arctica | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-arctica.html | Трансмиссионный электронный микроскоп |
| Talos L120C | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-l120c.html | Трансмиссионный электронный микроскоп |
| CRYO ARM 300 II (JEM-Z300FSC) | JEOL | https://www.jeol.com/products/scientific/tem/cryoarm300ii.php | Электронный микроскоп с просвечиванием |
| CRYO ARM 200 | JEOL | https://www.jeol.com/products/scientific/tem/cryoarm200.php | Электронный микроскоп с просвечиванием |
| JEM-3200FSC | JEOL | https://www.jeol.com/products/scientific/tem/jem3200fsc.php | Трансмиссионный электронный микроскоп |
| HF8300 | Hitachi | https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html | Электронный микроскоп с просвечиванием |
| HT7800 | Хитачи | https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html | Трансмиссионный электронный микроскоп |
| SU9000 (TEM/STEM) | Hitachi | https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html | Электронный микроскоп с просвечиванием |
| Falcon 4i | Thermo Fisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/direct-electron-detectors/falcon-4i.html | Детектор прямых электронов |
| Gatan K3 | Гатан (AMETEK) | https://gatan.com/products/tem-cameras/k3-is-camera | Детектор прямых электронов |
| Gatan K2 | Gatan | https://gatan.com/products/tem-cameras/k2-camera | Детектор прямых электронов |
| Аполлон | Прямое обнаружение электронов | https://directelectron.com/apollo/ | Детектор прямых электронов |
| DE64 | Прямое обнаружение электронов | https://directelectron.com/de-64/ | Детектор прямого электронного детектирования |
| RELION | Лаборатория молекулярной биологии Медицинского исследовательского совета (MRC-LMB), Кембриджский университет | https://relion.readthedocs.io | Пакет программного обеспечения SPA |
| cryoSPARC | Структура Биотехнологии | https://cryosparc.com | Пакет программного обеспечения SPA |
| EMAN2 | Медицинский колледж Бейлора (разработано лабораторией Стивена Людтке) | https://blake.bcm.edu/emanwiki/EMAN2 | Пакет программного обеспечения SPA |
| cisTEM | Национальный исследовательский совет Канады (разработано Тимом Грантом и коллегами) | https://cistem.org | Пакет программного обеспечения SPA |
| SPHIRE | Макс-Планк-институт молекулярной физиологии и Колледж медицины Бейлора | https://sphire.mpg.de | пакет программного обеспечения SPA |
| cryoDRGN | Принстонский университет (разработано лабораторией Эллен Чжун) | https://cryodrgn.cs.princeton.edu | Пакет программного обеспечения SPA |
| Топаз | Медицинская школа Гарвардского университета (разработано лабораторией Трэвиса Беплера) | https://github.com/tbepler/topaz | Пакет программного обеспечения SPA |
| crYOLO | Институт биофизики им. Макса Планка | https://cryolo.readthedocs.io | пакет программного обеспечения SPA |
| Варп | Лаборатория молекулярной биологии MRC (разработано Дмитрием Тегуновым) | http://www.warpem.com | пакет программного обеспечения для крио-ЭМТ и СТА |
| ModelAngelo | Лаборатория молекулярной биологии Медицинского исследовательского совета | https://www.modelangelo.org | пакет программного обеспечения для крио-ЭМТ и СТА |
| IMOD | Университет Колорадо в Боулдере | https://bio3d.colorado.edu/imod | пакет программного обеспечения для крио-ЭМ и СТА |
| Дайно | Национальный центр биотехнологииí(ИБН-ЦСИК) | https://www.dynamo-em.org | пакет программного обеспечения для крио-ЭМТ и СТА |
| emClarity | Калифорнийский университет в Сан-Франциско | https://github.com/StochasticAnalytics/emClarity | пакет программного обеспечения для крио-ЭМ и СТА |
| RELION (модуль ЭМ) | Лаборатория молекулярной биологии Медицинского исследовательского совета (MRC-LMB), Кембриджский университет | https://relion.readthedocs.io | пакет программного обеспечения для крио-ЭМТ и СТА |
| EMAN2 (SPT) | Baylor College of Medicine | https://blake.bcm.edu/emanwiki/EMAN2 | пакет программного обеспечения для крио-ЭМ и СТА |
| Варп/М | MRC Лаборатория молекулярной биологии | https://warpem.github.io | пакет программного обеспечения для крио-ЭМТ и СТА |
| AreTomo | Стэнфордский университет (разработано группами Фэй Сунь и Ваха Чжу) | https://github.com/czimaginginstitute/AreTomo2 | пакет программного обеспечения для крио-ЭМТ и СТА |
| ПИТ | Университет Колорадо в Боулдере | https://bio3d.colorado.edu/PEET | пакет программного обеспечения для крио-ЭМТ и СТА |
| ПайТом | Институт биохимии Общества Макса Планка | https://pytom.org | пакет программного обеспечения для крио-ЭМТ и СТА |
| Tomo3D | Испанский национальный центр биотехнологии (CNB-CSIC) | https://sites.google.com/site/3demimageprocessing/tomo3d | пакет программного обеспечения для крио-ЭМ и СТА |
| crYOLO (3D) | Институт биофизики Общества Макса Планка | https://cryolo.readthedocs.io | пакет программного обеспечения для крио-ЭМТ и СТА |
| AITom | Университет Карнеги-Меллон | https://github.com/xulabs/aitom | пакет программного обеспечения для крио-ЭМТ и СТА |
| DIALS | Источник синхротронного излучения «Алмаз» и сотрудники | https://dials.github.io | пакет программного обеспечения microED |
| XDS | Институт медицинских исследований им. Макса Планка (разработано Вольфгангом Кабшем) | https://xds.mr.mpg.de | пакет программного обеспечения microED |
| MOSFLM | Медицинский исследовательский совет, Лаборатория молекулярной биологии (MRC-LMB), Кембриджский университет | https://www.mrc-lmb.cam.ac.uk/mosflm | пакет программного обеспечения microED |
| SHELX | Университет Гöттинген (разработано Джорджем М. Шелдриком) | https://shelx.uni-goettingen.de | пакет программного обеспечения microED |
| Phenix | Национальная лаборатория им. Лоуренса в Беркли (консорциум PHENIX) | https://phenix-online.org | пакет программного обеспечения microED |
| Coot | Лаборатория молекулярной биологии Медицинского исследовательского совета (MRC-LMB), Кембриджский университет | https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot | пакет программного обеспечения microED |
| Linux (Ubuntu, CentOS/Rocky) | Ubuntu: Canonical Ltd.; CentOS: CentOS Project; Rocky Linux: Rocky Enterprise Software Foundation (RESF) | https://ubuntu.com / https://www.centos.org (устаревшая версия) / https://rockylinux.org | Операционная система |
| Окна | Microsoft | https://www.microsoft.com/windows | Операционная система |
| ZFS | Oracle Corporation (первоначально Sun Microsystems); OpenZFS поддерживается сообществом OpenZFS | https://openzfs.org | Файловая система |
| NFS | Sun Microsystems (в настоящее время поддерживается как стандарт IETF) | https://www.rfc-editor.org/rfc/rfc8881 | Протокол |
| SMB (CIFS) | Microsoft | https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview | Протокол |
| Microsoft Remote Desktop (RDP) | Microsoft | https://learn.microsoft.com/windows-server/remote/remote-desktop-services | Дистанционный доступ |
| NoMachine | NoMachine | https://www.nomachine.com | Дистанционный доступ |
| TeamViewer | TeamViewer SE | https://www.teamviewer.com | Дистанционный доступ |
| VirtualGL + TurboVNC | VirtualGL: Проект VirtualGL; TurboVNC: Проект TurboVNC | https://virtualgl.org и https://turbovnc.org | Удаленный доступ |
| CUDA | NVIDIA | https://developer.nvidia.com/cuda-toolkit | Компьютерная платформа |
Ссылки
- Cheng Y, Grigorieff N, Penczek PA, Walz T. A primer to single-particle cryo-electron microscopy. Cell. 2015;161(3):438-449.
- Kühlbrandt W. Cryo-EM enters a new era. eLife. 2014;3:e03678.
- Alewijnse B, et al. Best practices for managing large CryoEM facilities. J Struct Biol. 2017;199(3):225-236.
- Walsh RM, et al. Practices for running a research-oriented shared cryo-EM facility. Front Mol Biosci. 2022;9:960940.
- Zimanyi CM, et al. Broadening access to cryoEM through centralized facilities. Trends Biochem Sci. 2022;47(2):106-116.
- Shell E, Minari K, Serrão VHB. From Icy Specimens to Digital Insights: Integrating Sample Preparation, Data Analysis, and IT Infrastructure. In: Cryo-Electron Microscopy in Structural Biology. 2024.
- Kimanius D, Forsberg BO, Scheres SHW, Lindahl E. Accelerated cryo-EM structure determination with parallelisation using GPUs in RELION-2. eLife. 2016;5:e18722.
- Střelák D, Sorzano CÓS, Carazo JM, Filipovič J. A GPU acceleration of 3-D Fourier reconstruction in cryo-EM. Int J High Perform Comput Appl. 2019;33(5):948-959.
- Pichkur E, et al. Towards on-the-fly Cryo-Electron Microscopy data processing by high performance data analysis. J Phys Conf Ser. 2018;955:012005.
- Thompson RF, et al. Collection, pre-processing and on-the-fly analysis of data for high-resolution single-particle cryo-electron microscopy. Nat Protoc. 2019;14(1):100-118.
- Punjani A, Rubinstein JL, Fleet DJ, Brubaker MA. cryoSPARC: algorithms for rapid unsupervised cryo-EM structure determination. Nat Methods. 2017;14(3):290-296.
- Fernandez-Leiro R, Scheres SHW. A pipeline approach to single-particle processing in RELION. Acta Crystallogr D Struct Biol. 2017;73(Pt 6):496-502.
- Scheres SHW. RELION: implementation of a Bayesian approach to cryo-EM structure determination. J Struct Biol. 2012;180(3):519-530.
- Tang G, et al. EMAN2: an extensible image processing suite for electron microscopy. J Struct Biol. 2007;157(1):38-46.
- Grant T, Rohou A, Grigorieff N. cisTEM, user-friendly software for single-particle image processing. eLife. 2018;7:e35383.
- Wagner T, et al. SPHIRE-crYOLO is a fast and accurate fully automated particle picker for cryo-EM. Commun Biol. 2019;2(1):218.
- Zhong ED, Bepler T, Berger B, Davis JH. CryoDRGN: reconstruction of heterogeneous cryo-EM structures using neural networks. Nat Methods. 2021;18(2):176-185.
- Bepler T, Kelley K, Noble AJ, Berger B. Topaz-Denoise: general deep denoising models for cryoEM and cryoET. Nat Commun. 2020;11(1):5208.
- Tegunov D, Cramer P. Real-time cryo-electron microscopy data preprocessing with Warp. Nat Methods. 2019;16(11):1146-1152.
- Jamali K, et al. Automated model building and protein identification in cryo-EM maps. Nature. 2024;628(8007):450-457.
- Kremer JR, Mastronarde DN, McIntosh JR. Computer visualization of three-dimensional image data using IMOD. J Struct Biol. 1996;116(1):71-76.
- Castaño-Díez D, Kudryashev M, Arheit M, Stahlberg H. Dynamo: a flexible, user-friendly development tool for subtomogram averaging of cryo-EM data in high-performance computing environments. J Struct Biol. 2012;178(2):139-151.
- Ni T, et al. High-resolution in situ structure determination by cryo-electron tomography and subtomogram averaging using emClarity. Nat Protoc. 2022;17(2):421-444.
- Bharat TAM, et al. Advances in single-particle electron cryomicroscopy structure determination applied to sub-tomogram averaging. Structure. 2015;23(9):1743-1753.
- Zheng S, et al. AreTomo: an integrated software package for automated marker-free, motion-corrected cryo-electron tomographic alignment and reconstruction. J Struct Biol X. 2022;6:100068.
- Nicastro D, et al. The molecular architecture of axonemes revealed by cryoelectron tomography. Science. 2006;313(5789):944-948.
- Hrabe T, et al. PyTom: a Python-based toolbox for localization of macromolecules in cryo-electron tomograms and subtomogram analysis. J Struct Biol. 2012;178(2):177-188.
- de la Morena JJ, et al. ScipionTomo: towards cryo-electron tomography software integration, reproducibility, and validation. J Struct Biol. 2022;214(3):107872.
- Zhan X, Zeng X, Uddin MR, Xu M. AITom: AI-guided cryo-electron tomography image analyses toolkit. J Struct Biol. 2025;217(2):108207.
- Winter G, et al. DIALS: implementation and evaluation of a new integration package. Acta Crystallogr D Struct Biol. 2018;74(2):85-97.
- Kabsch W. XDS. Acta Crystallogr D Biol Crystallogr. 2010;66(2):125-132.
- Battye TGG, et al. iMOSFLM: a new graphical interface for diffraction-image processing with MOSFLM. Acta Crystallogr D Biol Crystallogr. 2011;67(Pt 4):271-281.
- Thorn A, Sheldrick GM. Extending molecular-replacement solutions with SHELXE. Acta Crystallogr D Biol Crystallogr. 2013;69(Pt 11):2251-2256.
- Liebschner D, et al. Macromolecular structure determination using X-rays, neutrons and electrons: recent developments in Phenix. Acta Crystallogr D Struct Biol. 2019;75(10):861-877.
- Emsley P, Cowtan K. Coot: model-building tools for molecular graphics. Acta Crystallogr D Biol Crystallogr. 2004;60(Pt 12 Pt 1):2126-2132.
- Pryor E, Kohr H, Ortiz J, Grollios F. Advancing towards a "one-button" screening solution for Cryo-EM data acquisition with Smart EPU. Struct Dyn. 2025;12(5):A86.
- Ramírez-Aportela E, et al. FSC-Q: a CryoEM map-to-atomic model quality validation based on the local Fourier shell correlation. Nat Commun. 2021;12(1):42.
Перепечатки и разрешения
