Сегментация криоэлектронных томограмм на основе глубокого обучения

Что самое интересное в нашем протоколе, так это то, что он позволяет любой лаборатории начать работу, используя эти протоколы глубокого обучения для сегментации больших объемов данных крио-ET. Основное преимущество нашего рабочего процесса заключается в том, что Dragonfly предоставляет вычислительную среду профессионального уровня для обучения многоклассовых нейронных сетей для сегментации, и это действительно может значительно ускорить процесс сегментации. Сегментация изображений требует времени для изучения, поэтому обязательно протестируйте инструменты и изучите ключевые привязки, чтобы действительно помочь оптимизировать рабочий процесс с течением времени.

После настройки программного обеспечения продолжите импорт изображений, перейдя в «Файл» и выбрав «Импортировать файлы изображений». Затем нажмите «Добавить», перейдите к файлу изображения, нажмите «Открыть» и выберите «Далее», а затем «Готово». Создайте пользовательскую шкалу интенсивности, перейдя в раздел «Утилиты» и выбрав «Диспетчер единиц измерения».

Нажмите плюс в левом нижнем углу, чтобы создать новую единицу измерения. Выберите функцию высокой и низкой интенсивности во всех интересующих вас томограммах. Присвойте устройству имя и аббревиатуру и сохраните единицу измерения пользовательского размера.

Чтобы откалибровать изображения в соответствии с пользовательской шкалой интенсивности, щелкните правой кнопкой мыши набор данных в столбце «Свойства» в правой части экрана и выберите «Калибровка шкалы интенсивности». Затем перейдите на главную вкладку в левой части экрана и прокрутите вниз до раздела зонда. Используя инструмент кругового зонда соответствующего диаметра, щелкните несколько мест в фоновой области томограммы и запишите среднее число в столбце необработанной интенсивности.

Повторите эти действия для реперных маркеров и нажмите «Калибровка». При необходимости отрегулируйте контрастность, чтобы снова сделать структуры видимыми с помощью инструмента «Область» в разделе выравнивания окон главной вкладки. В левой части главной вкладки прокрутите вниз до панели обработки изображений.

Нажмите «Дополнительно» и дождитесь открытия нового окна. На панели «Свойства» выберите набор данных, который нужно отфильтровать, и сделайте его видимым, щелкнув значок глаза слева от набора данных. Затем используйте раскрывающееся меню на панели операций, чтобы выбрать выравнивание гистограммы для первой операции.

Выберите «Добавить операцию», нажмите «Гауссов» и измените размер ядра на 3D. Добавьте третью операцию, затем выберите Unsharp и оставьте вывод для этой. Примените эквалайзер ко всем срезам и дайте фильтрации запуститься, затем закройте окно обработки изображения, чтобы вернуться к основному интерфейсу.

Чтобы определить область обучения, перейдите на панель свойств данных, сначала скрыв нефильтрованный набор данных, щелкнув значок глаза слева от него. Затем покажите только что отфильтрованный набор данных. Используя отфильтрованный набор данных, определите подобласть томограммы, содержащую все интересующие объекты.

Теперь создайте поле вокруг интересующей области, прокрутив вниз до категории «Фигуры» и выбрав «Создать поле» в левой части главной вкладки. Находясь на панели с четырьмя видами, используйте различные 2D-плоскости, чтобы направлять или перетаскивать края прямоугольника, чтобы охватить только интересующую область во всех измерениях. В списке данных выберите область поля и измените цвет границы для более удобного просмотра, щелкнув серый квадрат рядом с символом глаза.

Чтобы создать мульти-ROI, выберите вкладку «Сегментация», нажмите «Создать» слева и установите флажок «Создать как multi-ROI». Убедитесь, что количество классов соответствует количеству интересующих объектов плюс фоновый класс. Назовите обучающие данные с несколькими ROI и убедитесь, что геометрия соответствует набору данных, прежде чем нажимать кнопку ОК. Затем прокрутите данные до границ области в рамке.

Выберите Multi-ROI в меню «Свойства» справа. Дважды щелкните первое пустое имя класса в мульти-ROI, чтобы присвоить ему имя. Чтобы рисовать 2D-кистью, прокрутите вниз до 2D-инструментов на вкладке «Сегментация» слева и выберите круглую кисть.

Затем выберите «Адаптивный гауссов» или «Локальный OTSU» в раскрывающемся меню, нарисуйте, удерживая левый рычаг управления плюс щелчок, и стереть, удерживая левый сдвиг плюс щелчок. После того, как все структуры будут помечены, щелкните правой кнопкой мыши фоновый класс в multi-ROI и выберите «Добавить все немаркированные воксели в класс». Затем создайте новый одноклассный ROI с именем Mask.

Убедитесь, что геометрия соответствует отфильтрованному набору данных, затем нажмите «Применить». На вкладке «Свойства» справа щелкните правой кнопкой мыши поле, выберите «Добавить к ROI» и добавьте его в ROI маски. Чтобы обрезать тренировочные данные с помощью маски, перейдите на вкладку «Свойства» и выберите как обучающие данные, так и мульти-ROI и ROI маски, удерживая Control и щелкая по каждому.

Затем нажмите кнопку "Пересечение" под списком свойств данных в разделе "Логические операции". Назовите новый набор данных как обрезанные обучающие входные данные и убедитесь, что геометрия соответствует отфильтрованному набору данных, прежде чем нажимать кнопку ОК. Импортируйте обучающие данные в мастер сегментации, щелкнув правой кнопкой мыши отфильтрованный набор данных на вкладке "Свойства" и выбрав параметр "Мастер сегментации". Когда откроется новое окно, найдите вкладку «Ввод» справа.

Нажмите «Импортировать кадры из мульти-ROI» и выберите входные данные «Обрезанное обучение». Чтобы сгенерировать новую модель нейронной сети, нажмите кнопку «плюс» справа на вкладке модели. Выберите U Net из списка, выберите 2,5 D и пять срезов в качестве входного измерения, а затем нажмите кнопку Создать.

Чтобы обучить сеть, нажмите «Обучить» в правом нижнем углу окна Seg Wiz. После завершения обучения модуля используйте обученную сеть для сегментации новых кадров, создайте новый кадр и нажмите кнопку Прогнозировать. Затем щелкните стрелку вверх в правом верхнем углу прогнозируемого кадра, чтобы перенести сегментацию в реальный кадр.

Чтобы исправить прогноз, щелкните два класса, удерживая клавишу Control, чтобы изменить сегментированные пикселы одного на другой. Выберите оба класса и рисуйте кистью, чтобы рисовать только пикселы, принадлежащие к одному из классов. Исправьте сегментацию как минимум в пяти новых кадрах.

Для итеративного обучения снова нажмите кнопку «Обучить» и позвольте сети продолжить обучение еще на 30–40 эпосов. На этом этапе остановите тренировку и начните следующий раунд обучения. Убедившись в производительности сети, опубликуйте ее, выйдя из мастера сегментации.

Появится диалоговое окно с вопросом, какие модели опубликовать. Выберите успешную сеть, назовите ее, а затем опубликуйте, чтобы сделать сеть доступной для использования вне мастера сегментации. Сначала выберите отфильтрованный набор данных на панели «Свойства», чтобы применить его к тренировочной томограмме.

На панели «Сегментация» слева прокрутите вниз до раздела «Сегмент с искусственным интеллектом». Убедитесь, что выбран правильный набор данных. Выберите модель, опубликованную недавно, в раскрывающемся меню, затем нажмите «Сегмент», а затем «Все фрагменты».

Чтобы применить его к набору данных вывода, импортируйте новую томограмму и предварительно обработайте ее, как показано ранее. На панели сегментации перейдите в раздел сегмента с искусственным интеллектом. Убедитесь, что только что отфильтрованная томограмма является выбранным набором данных, выберите ранее обученную модель, щелкните сегмент и выберите «Все фрагменты».

Быстро устраните шум, сначала выбрав один из классов с сегментированным шумом и интересующим вас объектом. Затем щелкните правой кнопкой мыши «Обработать острова», выберите «Удалено количеством вокселей», а затем нажмите «Выбрать размер вокселя». Начните с небольшого счета и постепенно увеличивайте его, чтобы убрать большую часть шума.

Для коррекции сегментации щелкните, удерживая клавишу Control, два класса, чтобы нарисовать пикселы, принадлежащие только этим классам. Щелкните, удерживая клавишу Control, плюс перетащите с помощью инструментов сегментации, чтобы изменить пикселы второго класса на первый, и щелкните, удерживая нажатой клавишу «Shift», плюс перетаскивание, чтобы добиться обратного. Пятисрезовый блок был обучен на одной томограмме, и была выполнена сегментация рук для обучающего ввода.

Показана 2D-сегментация от подразделения после полного обучения. 3D-рендеринг сегментированных областей показывает мембрану, микротрубочки и актиновые филаменты. Показаны нейроны гиппокампа крысы DIV 5 из того же сеанса, что и тренировочная томограмма.

2D-сегментация из аппарата без дополнительного обучения быстрой очистке показала мембрану, микротрубочки, актин и фидуциалы. Также был визуализирован 3D-рендеринг сегментированных областей. Также наблюдался нейрон гиппокампа крысы DIV 5 из более раннего сеанса.

Также была выполнена 2D-сегментация с объекта с быстрой очисткой и 3D-рендерингом. Нейрон гиппокампа крысы DIV 5 также наблюдался на другом Титане Криосе при другом увеличении. Размер пикселя был изменен с помощью программы сжатия хранилища IMOD в соответствии с тренировочной томограммой.

2D-сегментация от объекта с быстрой очисткой демонстрирует надежный вывод по наборам данных с надлежащей предварительной обработкой, и был выполнен 3D-рендеринг сегментации. Предварительная обработка идентичных данных и калибровка гистограмм, безусловно, являются наиболее важными шагами для правильного вывода сети. После того, как местоположение молекул известно в томограмме, в Dragonfly действительно тривиально вычислить количественные измерения или вычислить координаты и ввести их в конвейер усреднения субтомограммы.

Мы только начинаем видеть влияние глубокого обучения на анализ крио-инопланетных изображений, но это всего лишь еще одна область, где он показывает действительно огромные перспективы.