Объем сегментации и анализ биологических материалов с помощью Workbench SuRVoS (супер-регионе объем сегментация)

Summary

Сегментация трехмерных данных из многих методы визуализации является основным узким местом в анализ сложных биологических систем. Здесь, мы описывают использование SuRVoS Workbench полуавтоматически сегмент объемные данные на различные длины шкалы с использованием наборов данных примера от крио электронная томография, крио мягкой рентгеновская томография и фаза контраст рентгеновская томография методов.

Abstract

Сегментация — это процесс изоляции конкретных регионов или объекты внутри образа тома, так что дальнейшие исследования в этих областях, представляющих интерес. При рассмотрении анализ сложных биологических систем, сегментация данных трехмерного изображения это много времени и труда интенсивных шаг. С возросшей доступности многих методов обработки изображений и автоматизированных баз данных коллекции схем это проблемой увеличения для современной экспериментальной биолог перейти от данных к знаниям. Это издание описывает использование SuRVoS Workbench, программа, предназначенная для решения этих проблем, предоставляя методы для полуавтоматически сегмент сложных биологических объемных данных. Три набора данных отличаются увеличением и визуализации формы представлены здесь, каждый подчеркнув различные стратегии сегментации с SuRVoS. Фаза контраст рентгеновская томография (microCT) плодовые тела растения используется для демонстрации сегментации, с использованием модели обучения, крио Электрон (cryoET) томография головного мозга тромбоцитов человека используется для демонстрации сегментации, с помощью супер - и megavoxels и крио мягкой Рентгеновская томография (cryoSXT) клеток млекопитающих линии используется для демонстрации метке разделение инструментов. Также представлены стратегии и параметры для каждого типа данных. Смешивая выбор полуавтоматических процессов в одном интерактивный инструмент, SuRVoS предоставляет несколько преимуществ. Общее время сегмент объемных данных уменьшается на пять по сравнению с ручной сегментации, опорой во многих областях обработки изображений. Это значительную экономию средств, когда полная ручная Сегментация может занять недели усилий. Кроме того субъективность решается за счет использования вычислительно определенных границ и расщепления сложных коллекций объектов по их вычисляемого свойства, а не на основе case-by-case.

Introduction

SuRVoS Workbench является частью программного обеспечения, позволяющих исследователям для извлечения научно соответствующую информацию из объемных данных из различных образцов, независимо от структуры интереса, резолюции или изображений модальности^{1, 2}. Объемные данные такие, как часто они собираются с помощью рентгеновского или электронная томография систем, обычно на основе в целом лаборатории или централизованных объектов из-за их сложности. Оба из этих методов и другие методы, производят большие, богатые наборы информации которая доказать сложно сегмент с либо полуавтоматический методов или вручную. В частности государство почти родной крио прикол наборы данных требуют низкодозированные изображений условий, что приводит к низким соотношение сигнал шум и плохой контраст, особенно в крио электронная томография (cryoET)^3,4,5 . Дополнительным фактором в некоторых 3D наборов данных является наличие артефактов, представленный сложной экспериментальных условий, например отсутствующие клин артефакты из-за сбора данных через ограниченное наклона, что приводит к недостающую информацию и удлинение в направлении луч^3,4,5. Даже когда низкий сигнал шум или отсутствующие клин артефакты не проблематично (например сосредоточены ионного пучка SEM⁶ или последовательный блок сталкиваются SEM⁷), сложности и трехмерную природу образца, и большое количество данных означает, что анализ будет по-прежнему пользоваться автоматизированный процесс для данных сегментации.

В настоящее время при рассмотрении биологического томов клеток, есть много вариантов для автоматически или полуавтоматически идентификации весьма конкретных клеточных функций, таких как актина, микротрубочки или конкретных белковых комплексов, используя шаблон-на основе поиска, или определения функций в конкретных типах наборов данных (например высокая контрастность, витражи, смола встроенные образцы)^8,9,10,,1112. Однако в этих случаях априори информацию или конкретные примеры подготовки протоколов являются необходимыми, ограничивая широкую применимость этих стратегий сегментации. Есть также инструменты, которые выполняют модели обучения на уровне voxel учиться появление различных структур интерес при наличии пользовательского ввода¹³. Однако на этом уровне сложности обучения и проверки моделей могут быть затратными и ошибкам. Учитывая сложные условия изображения и отсутствие стратегий широко применимым, полуавтоматическая сегментация, ручной сегментации является общим, даже при работе с сложных биологических материалов^{14,15, 16 , 17}. Однако это общепризнано, что процесс ручной сегментации является не только времени, но также ошибкам, субъективный и переменных в^{4,5,18,19 ,20}. Некоторые сегментации программы предлагают инструменты для облегчения процесса ручной сегментации (т.е. интерполяция, Лассо или удар инструменты)^21,22, однако, в случае шумных наборов данных, они трудно применять успешно, и даже когда они успешно используются, этот процесс все еще субъективный и переменных.

Традиционно, segmentations были использованы двумя разными способами: качественно или количественно. Как технологии визуализации и сегментация стратегии улучшения, он стал чаще использовать сегментации как количественный инструмент ответить вопросы биологического и как «земля истина» алгоритм развития^{8,12, 15,23,24,25}. Для того, чтобы сделать это, требуется снижение изменчивости и субъективности на протяжении всего процесса²⁶подробные сдержек и противовесов. Однако эти меры предосторожности дальнейшее увеличение трудоемкости сегментации. Из-за этого важно обеспечить стратегию быстрее и менее переменной сегментации.

SuRVoS Workbench начинает для решения этих проблем, предоставляя пользователю выбор машинного обучения и инструменты, которые помогают пользователю в процессе сегментации, а также руководство пользователя через необходимые шаги обработки изображений. Для достижения этой цели, два ключевых новшества реализуются вместе в SuRVoS. Во-первых он использует иерархию супер-региона в группу аналогичных, близлежащих областей данных на основе присущих им свойств. Каждый из регионов в иерархии представляет же тома, используя меньшее количество элементов, обеспечивая при этом соблюдение сильные границы. Таким образом супер-регионы уменьшить сложность сегментирования тома на несколько порядков, но по-прежнему представляют данные без значительной потери информации²⁷. Во-вторых SuRVoS обеспечивает полуавтоматическая сегментация стратегия, которая использует минимальное ручная сегментация входов для обучения классификаторов, которые затем используются для сегмента остальные тома^28,29. Эта стратегия уменьшает ручной сегментации, значительно уменьшается количество пользователей время, затраченное на сегментации и, при использовании супер-регионы, удаляет вручную делимитация границ, потенциально уменьшая изменчивости и субъективность.

Еще ключевой особенностью SuRVoS является Splitter надпись, согласно которой пользователь может классифицировать серии уже сегментирована объектов на основе присущих им свойств. После сегментации различных объектов, представляющих интерес этот инструмент может использоваться для разделения набор на подклассы на основе таких мер, как интенсивность средняя объект, дисперсия, размер, местоположение и т.д. это полезно при классификации больших групп объектов с высокий уровень сложности. Например, Группа клеточных органелл могут быть разделены на митохондрии, пустой везикулы, липидного капель и т.д.; или набор материалов, которые могут быть разделены включений на основании размера или формы. После сегментирована отдельные наклейки можно разделен на группы используя любое количество классификаторов, уменьшение выявления предвзятости.

SuRVoS Workbench успешно используется для сегмента данных из нескольких методы визуализации. Здесь контраст фазы синхротрона рентгеновская томография (microCT) плодовые тела растения используется для демонстрации segmentatiиспользуя модель обучения, крио Электрон (cryoET) томография головного мозга тромбоцитов человека используется для демонстрации сегментации, с помощью супер - и megavoxels, и крио мягкой рентгеновская томография (cryoSXT) клеток млекопитающих линии используется для демонстрации метке расщепления инструменты

Protocol

Примечание: обычно полезно диапазонов параметров для каждого шага обработки и конкретные параметры для каждого типа данных, показанный здесь приведены в таблице 1.

1. Подготовка рабочей области и загрузка данных

1. начать SuRVoS Workbench, нажмите кнопку Открыть набор данных и в результате всплывающее окно, выберите файл данных чтобы сегментировать. Выберите соответствующую ориентацию набора данных. Далее выберите или создайте папку, где будут храниться рабочей области и связанные с ней файлы. Рекомендуется, что эта папка является пустым при запуске новой сегментации. После загрузки данных, workbench будет открыта с плагины на панели слева, Визуализация панели справа и набор сочетаний клавиш инструмента между двумя панелями ( рис. 1).

2. Предварительная обработка и представление данных

1. в выберите ROI вкладка, ввод y, z и x начала и конца координаты для региона интерес и нажмите кнопку Добавить. Выбрать соответствующие y и x координаты мыши наведите точки на изображении. Выберите координаты z, используя ползунок в верхней части области визуализации. После добавления региона, убедитесь, что он выбран, установив флажок справа. Все ниже по течению вычисления будут выполняться на выбранной области. Как правило, начиная с малого, сообщил представитель региона интерес (ROI), оптимизации параметров и затем повторно применить эти параметры, чтобы весь район чтобы сегментировать.
2. В функцию каналы вкладка, используйте раскрывающееся меню в верхней выбрать функцию/фильтр и добавить его в очередь (см. обсуждение для более подробная информация о функции каналов). После того, как фильтр функция добавлена и выбран, нажав на его имя, измените параметры для функции/фильтр и выбрать входного набора данных, на которой будет выполняться функция/фильтр. После того как все параметры были выбраны, установите флажок справа от имени функции/фильтр для вычисления.
   1. Для того чтобы оптимизировать параметры для нового набора данных, добавить несколько фильтров/функции и выберите параметры для них, прежде чем вычисляется в порядке, один за другим. Чтобы сделать это, добавьте каждое нововведение фильтр и выберите соответствующие параметры, установите флажок слева от каждой функции фильтра, для запуска и щелкните поле функции вычисления в верхней части панели. Для получения дополнительной информации см.

3. Создание соответствующих супер-регионов

1. в супер регионов вкладка, в разделе Supervoxels, используйте раскрывающееся меню Источник для выбора отфильтрованный набор данных, из которого будут создаваться supervoxels. Затем укажите форму, интервалов и компактность supervoxels (см. обсуждение и Рисунок 2 для получения более подробной информации). Наконец нажмите на кнопку Применить для создания supervoxels. После того, как были созданы supervoxels они могут рассматриваться в области визуализации, включен или выключен и их прозрачность, контролируемых на вкладку визуализация и окно просмотра ярлыка.
2. В супер регионов вкладка, в разделе Megavoxels, используйте раскрывающееся меню Источник для выбора отфильтрованный набор данных, из которого будут создаваться megavoxels. Далее укажите лямбда, numBins и гамма параметры megavoxels (см. обсуждение для получения более подробной информации). После того, как были созданы megavoxels они могут рассматриваться в области визуализации, включен или выключен и их прозрачность, контролируемых на вкладку визуализация и окно просмотра ярлыка.

4. Введение в аннотации

1. в аннотации вкладка использовать кнопку Добавить для добавления заметок уровня. После того, как был добавлен уровень, используйте кнопку Добавить метку на этом уровне для добавления метки для заметки. После добавления, имя и цвет метки могут быть изменены для удобства аннотации.
2. Далее, чтобы начать создание заметок, выберите значок пера из секции ярлык инструмент. Когда этот параметр выбран набор параметров отображается в верхней части области визуализации. Эти параметры управляют ширина пера и ли вокселей, supervoxels или megavoxels будет использоваться для аннотирования.
   1. Для обучения модели, как правило, выберите supervoxels в раскрывающемся списке уровень аннотации и сносно для больших перо ширина должны быть использованы. В аннотации на вкладке выберите метку для создания заметки, установив флажок ультраправых этикетке информации. Далее, щелкните в области визуализации для аннотирования одного supervoxel, или щелкните и перетащите для аннотирования многие.
      Примечание: Вокселей и megavoxels может быть выбран в раскрывающемся списке уровень аннотации и используется для аннотирования таким же образом, который, в случае megavoxels, можно включить многие тысячи аналогичных вокселей чтобы сегментировать с одним щелчком мыши.

5. Обучение модели с помощью сегментации продемонстрировали с набором microCT.

Примечание: первый сегментации для многих наборов данных является различать несколько крупных регионах друг от друга. Например отделяя ядро от цитоплазмы, или клетки от внешней структуры льда и поддержки. Для этого типа сегментации, с четко очерченных границ и крупных регионов обучение модели является полезным. Чтобы продемонстрировать это, будет использоваться рентгеновского фазы контраст томографических данных Goosegrass.

1. Загрузки данных, предварительной обработки, с помощью функции фильтрации и suite и определить соответствующие supervoxels или megavoxels, как описано в приведенных выше разделов, с помощью параметров в таблице 1 в качестве руководства. Продолжая использовать параметры из таблицы 1 и инструкции в разделе 4, примерно комментировать некоторые большие части набора данных, как показано на рисунке 3.
   Примечание: Набор данных не нужно на данный момент полностью сегментировать.
Вкладка
2. в обучении модели, установите прогнозирования уровня до уровня, который содержит аннотации ручного обучения, и в дескрипторе секции присвоено Supervoxels региона. Далее, выберите дескрипторы, которые должны использоваться для различения областей данных, щелкнув раскрывающийся список выбора источников и проверка коробки особенностей и фильтры выбора (см. таблицу 1 и обсуждение).
3. Далее, нажмите на кнопку прогнозирования. После завершения вычисления области визуализации будет обновляться с предсказания для всех-меченых вокселей показаны какие из аннотации классов они, согласно прогнозам, будут принадлежать. Как правило параметры по умолчанию для каждого классификатора методологии обеспечивают хорошей отправной точкой, и пользователь должен только для переключения между классификаторами, чтобы найти хорошо подходят. Однако, для экспертов и опытных пользователей параметры для каждого классификатора доступны и могут быть изменены.
4. После оценки воздействия учебных методологий и выбрать один, применяются дополнительные уточнения, нажав на уточнить раскрывающийся список в разделе уточнение. В нижней части обучения модели на вкладке, в " обновление аннотации " разделе, убедитесь, что раскрывающемся меню визуализации равным PredictioNS. Используйте ползунок доверия, чтобы назначить более или менее из unannotated supervoxels на выбранные заметки этикетки.
5. После того, как выбран соответствующий уровень доверия на основании визуального осмотра, использовать кнопки сохранения рядом метки в нижней части инструмента доверия для сохранения прогнозы в определенных меток. Визуализация панели будет обновление для отображения изменений. Каждая метка может быть сохранен отдельно, и действительно, метки могут быть спасены от небольших суб-регионов путем ввода значения в поле от и к z, y и x коробки и нажав на кнопку Save для каждой метки.
6. Адрес незначительные неправильной путем создания дополнительных обучающих данных, как описано в разделе 4. После того, как соответствующие прогнозы добавляются метки, повторите процесс модели обучения с изысканностью и добавление высокая достоверность прогнозов до тех пор, пока есть не более без маркировки supervoxels. Это эффективно, потому что каждый раз, когда процесс обучения модели выполняется там более назначаются supervoxels тренироваться с, и поэтому этот процесс становится более надежным, как увеличить итераций.

6. Сегментации, с помощью супер-регионы, продемонстрировали с набором CryoET.

Примечание: поскольку супер-регион сегментации является полезным для меньше, дискретно связанных областях, основное внимание здесь будет уделяться сегментации органеллы и микротрубочек в пределах этого набора данных. Обучение модели был использован для быстро сегмент тромбоцитов от фона льда и углерода; Эти параметры не обсуждаются далее, но представлены в таблице 1.

1. Загрузки данных, предварительной обработки, с помощью функции фильтрации и suite и определить соответствующие supervoxels или megavoxels, как описано в приведенных выше разделов, с помощью параметров в таблице 1 в качестве руководства.
2. Добавить соответствующие уровни и наклейки на вкладке Аннотация выберите метку и начать создание заметок с помощью середнячок перо ширина с supervoxels выбран. Следует помнить о необходимости выбрать разные ярлыки для объектов в непосредственной близости друг от друга во избежание маркировки их как единый объект.
3. Для того чтобы очистить вверх аннотации далее, использовать методы морфологического уточнения (дилатация, эрозии, открытие, закрытие и заполнения отверстий). Эти параметры можно найти в нижней части вкладки аннотации. Чтобы использовать их, выберите метод сегментации label и изысканности. Введите значение радиуса и выберите способ применения уточнения. Нажмите кнопку уточнить.

7. Классификация и анализ данных объектов на основе своиственные характеристики, продемонстрировали с набором CryoSXT

Примечание: как правило, следующий шаг после сегментации является анализ данных. Сплиттер надпись в SuRVoS позволяет для классификации сегментирована объектов с помощью правил, основанных на встроенных характеристик объектов, таких как средняя объект интенсивности, дисперсия, объем или позиции. Лейбл статистика инструмент позволяет для визуализации связей между этими мерами для каждого нового класса объекта. Это новые мощные инструменты для анализа сложных наборов данных, 3D после сегментации.

1. Загрузки данных, предварительной обработки, с помощью функции фильтрации и suite, определить соответствующие supervoxels или megavoxels и сегмент, как описано в приведенных выше разделов, с помощью параметров в таблице 1, как руководство.
2. После сегментации, нажмите на второй вкладке панели визуализации разделителя метки. Это будет добавить новую область в правой части окна - панели создания правила.
3. В верхней части этой области, выберите соответствующий уровень и этикетки для колки этикетки. Затем выберите набор данных для запроса и нажмите кнопку Надпись. Все объекты в выбранной метки теперь будут изложены в голубой как отдельные объекты в области визуализации и индикации средней интенсивности объектов сюжет будет отображаться в области создания правила. Изменить меру, отображаемая в сюжет, щелкните на раскрывающемся списке в верхней части правой стороны.
4. Начать разделить объекты в соответствующих классов, нажмите кнопку Добавить новую метку в нижней части панели Создание правил. Имя и цвет, связанный с этой новой метки могут быть изменены, как описано ранее.
   1. , Нажмите кнопку Добавить новое правило и использование поля раскрывающегося списка и произвольной формы записи определяют правило должно применяться. Нажмите кнопку Применить, чтобы увидеть последствия нового правила в области визуализации и сюжет в области создания правила. Несколько правил могут применяться к одной метке и несколько подписей могут быть созданы в рамках одного набора данных.
      Примечание: Для того, чтобы собирать любые неподписанных объектов, создайте новую метку и вместо добавления к нему правило, щелкните выбрать другие.
5. Когда интересующие вас объекты были разделены на новые этикетки, создать новый, пустой уровень на вкладке аннотации. Затем этот уровень в закладке создание правила и нажмите кнопку Сохранить этикетки. Это позволит сохранить новые этикетки в этой пустой уровня.
6. На краю области визуализации, щелкните на закладке Статистика метки. Это откроет новую панель визуализации, который может использоваться, чтобы начать понимать отношения между классами объектов данных. В верхней части выберите соответствующий уровень, этикетки и набор данных для запроса.
   1. Выбрать несколько мер, представляющих интерес, установив флажки рядом с ними. Нажмите кнопку подпись. Это позволит производить pairwise сравнение участков для каждой из выбранных мер. Чтобы обновить участков, или снимите соответствующие меры выберите обновление участок.

8. Экспорт данных и Segmentations

1. Экспорт участков и необработанным данным измерений, нажав на участок экспорта и экспорта данных, соответственно, на вкладке Метки Статистика панели визуализация.
2. Экспорт данных изображения и segmentations, нажав на закладке Экспорт на панели плагинов. Во-первых нажмите, чтобы выбрать папку, в которой будут сохранены данные. Далее выберите выходные данные (необработанные данные, Raw аннотации, сегментации маски или масках данных) и формат (HDF5, MRC или TIFF). Наконец Выберите заметки Этажность быть экспортированы с помощью флажков и нажмите кнопку Экспорт. Данные можно масштабировать и перевернутый до экспорта при необходимости. При экспорте масках данных, набора данных, mask(s) будет применяться к может быть выбран с помощью раскрывающегося меню.

Representative Results

Три тома наборов данных, собранных из трех различных методов (microCT, cryoET и cryoSXT) были использованы для демонстрации три важных особенностей SuRVoS Workbench: модель обучения, супер-регион сегментации и метки разделения. Наборы данных представляют различные группы экспериментальных результатов, для каждого из которых полная обработка параметры предоставляются (Таблица 1).

Чтобы продемонстрировать модели обучения с использованием SuRVoS Workbench, был выбран набор данных относительно высокой контрастности с регионом, определение границ. Этот набор фруктов, Подмаренник цепкий, или goosegrass, была собрана с помощью рентгеновская томография контраст в фазе на Imaging излучение и13-2 алмаз-Манчестер в Diamond источник света, Чилтон, Оксфордшир, Великобритания. Свежий пример был смонтирован в воздухе на гониометре базы на вершине вращения этапе, на пример детектор расстоянии 30 мм от. воздействия раз были 0,10 сек с спектр розовый луч, который обладает средней энергией около 22 кэВ. Прогнозы были собраны через 180° с шагом размером 0,1 °. Томографические реконструкций были проведены с использованием Саву^{31 30,}с языческиепо фильтром для распространения на основе фазового контраста фото³² следуют отфильтрованных обратной проекции реконструкции в ASTRA инструментарий^{33 , 34}. Эти данные затем было сокращено с 2 x 2 x 2 биннинга уменьшить размер файла до ввода в SuRVoS Workbench.

Во-первых, входные данные (Рисунок 3А) был фильтруется и зажимается (для удаления значения верхнего и нижнего интенсивности в данных) (рис. 3B). Таким образом фона и переднего плана были сделаны более легко различимы и акцентировал текстуры внутренней структуры фруктов. Далее supervoxels были построены на вершине отфильтрованного набора данных (рис. 3 c). Чтобы оценить качество supervoxels, они были показаны без данных, чтобы убедиться, что соответствующие детали набора данных были хорошо представлены supervoxels (рис. 3D). Далее, ручной аннотации, используя supervoxels были предоставлены в качестве обучающих данных на три кусочка тома (Рисунок 3E, темные цвета). Этот обучающих данных было достаточно для подготовки классификатор для прогнозирования (светлые цвета) областях, соответствующей фон (зеленый), плоды щетины (красный), семенной материал (фиолетовый) и окружающие плоть (синий). Морфологические изменения были использованы для очистки segmentations заполнения отверстий, рост или сокращение как необходимое (Рисунок 3F). Общее время, затраченное для определения соответствующих параметров и сегмент этот набор данных был 2 ч.

Чтобы продемонстрировать супер-регион сегментации, с помощью SuRVoS Workbench, шумный и сложный набор данных был выбран¹⁵. Этот набор данных была собрана с помощью cryoET в национальном центре для высокомолекулярных Imaging в колледж Бейлор, Хьюстон, TX США. Кратко тромбоциты были небольшим заморожены на свечение сбрасываются и золото фидуциальный лечение Холи углерода ТЕА сетки. Наклон серии были собраны от ±65 ° с шагом в 2°. Затем наклон серии был реконструирован, с помощью взвешенной обратной проекции в IMOD³⁵.

После загрузки данных в SuRVoS (рис. 4A), региона интерес был выбран и набор соответствующий фильтр был применен. В этом случае сглаживающий фильтр Гаусса, следуют общей вариации фильтр с контрастом зажат использовался для Подчеркните края и текстуры данных (рис. 4В). Далее модель обучения с минимальным supervoxel на основе пользовательского ввода был использован для сегмента тромбоцитов от фона льда и углерода. Затем, полу ручная сегментация с megavoxels и supervoxels был использован для сегмента органеллы. Наконец параметр source supervoxel было изменено на более слабых вычисления фильтра и supervoxel форме стало меньше (см. таблицу 1) для того, чтобы лучше сохранить микротрубочек границ для сегментации (рис. 4 c). Органеллы и микротрубочек, быстрый ручной аннотации были использованы фрагменты каждые 5-10 для выбора supervoxels, описать функцию интерес (Рисунок 4 d & 4E). Общее время, затраченное для определения соответствующих параметров и сегмент региона представил интерес был 6 ч.

Чтобы продемонстрировать лейбл расщепление с помощью SuRVoS Workbench, был выбран набор данных с многих и разнообразных органеллы. Этот набор данных была собрана с помощью cryoSXT на излучение B24 в Diamond источник света, Чилтон, Оксфордшир, Великобритания³⁶. Кратко HEK293 клетки были выращены на золото искатель сетках, подходящего размера золото реперам были добавлены и сетки был небольшим, замороженные, используя EM с обратно сторонняя промокательной. Затем наклон серии собирались на микроскопе от ±65 ° с шагом в 0,5 °. Затем наклон серии был реконструирован, с помощью взвешенной обратной проекции в IMOD³⁵.

После загрузки данных в SuRVoS (Рисунок 5A), региона интерес был выбран и соответствующей общей вариации фильтр был использован для расширения границ органеллы по всему объему (Рисунок 5B). Далее органеллы были полу manually сегментирована, используя megavoxels и supervoxels, а затем уточнены с заполнения отверстий, закрытие и дилатация сглаживания (рис. 5 c). Общее время для определяет соответствующие параметры и сегмент региона представил интерес был 4 ч. После завершения сегментации, разделителя метки была использована для визуализации каждого органеллы как объект dataset (рис. 5 d) и различные характеристики о каждом объекте в участок данных (Рисунок 5E). Лейбл Splitter интерфейс является интерактивным, обновление цвет, связанный с каждой новой класса label в визуализации и печати данных. Это позволяет для создания различных правил, основанных на характеристики, присущие данных, который может использоваться для разделения объектов на полезных классов (Рисунок 5F).

Рисунок 1. Макет и общие черты SuRVoS Workbench.
Графический интерфейс находится на левой стороне, а панель визуализации находится на правой. Эти две области разделены по столбцу инструментов и сочетания клавиш. GUI аранжирован ходить пользователя через основные этапы предварительной обработки данных, выбор supervoxel или megavoxel параметров, сегментировать данные и при необходимости с помощью обучения модели, до экспорта segmentations. Визуализация панель может использоваться в трех режимах: основной визуализации и сегментации для просмотра данныхи любые применяемые фильтры и сегментировать данные, ярлык сплиттер для классификации объектов в новые этикетки на основе присущего данным аспектами и наконец ярлык статистики для измерения и визуализации характеристики сегментирована объектов. Для каждого из этих режимов в раскрывающемся меню в верхней левой углу управления показано, какие данные, и ползунок в верхней оси z. Клавиш инструмент обеспечивает легкий доступ к контроль над контраст, прозрачность слоев, масштабирование, панорамирование и возвращения к «дому» в области визуализации и открытия инструменты для аннотации, как описано в протоколе. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 2. Супер-область иерархии уменьшает сложность сегментации изображений.
Изображения из набора сегментацию Беркли (³⁷BSDS500) был использован для демонстрации свойств и эффектов, супер-регионов. Исходное изображение (слева) состоит из тысяч вокселей, которые затем собираются в смежных, подобные группировки для создания нескольких сотен supervoxels (в центре). Supervoxels также может быть собрана в смежных, подобные группировки для создания нескольких десятков megavoxels (справа). С каждой группировки, уменьшается сложность задачи сегментации, для ресурсов вычислительной и вручную. Важно отметить, что 2D пример показано здесь, однако, supervoxels и megavoxels 3D. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

На рисунке 3. Обработка microCT набора данных с помощью стратегии сегментации обучения модели.
A. один 2D срез необработанных данных. Б. применение фильтра зажимается общей вариации на необработанные данные расширения границ между различными аспектами плодовые тела. C. соответствующие supervoxel параметры были выбраны. D. области интереса (красная рамка в C) показано продемонстрировать, что границы данных присутствуют в supervoxels сами. Е. три ломтика тома с ручной Аннотации различных областей набора данных отображается в темные цвета (зеленый, красный, синий и фиолетовый) и прогнозы после запуска обучение модели отображаются в том же светлые цвета. F. же три ломтика с окончательной сегментации после того, как была принята модель подготовки прогнозов. Масштаб гистограммы являются 1 мм. пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 4. Обработка cryoET набора данных с помощью стратегии сегментации супер-региона.
A. один 2D срез необработанных данных. B. район интереса (красная рамка в A) с набором слоистых фильтр применяется для акцентирования границы органеллы. C. пример аннотации органеллы, с помощью супер-регионов. Один органеллы показано с supervoxels, обложил с руководство пользователя заметки отображаются в черном (слева) и supervoxels, выбраны с этой аннотации, показаны синим цветом (справа). D. пример аннотации микротрубочек, с помощью супер-регионов. Один регион микротрубочек показана с аннотацией руководство пользователя, отображаются в черном (слева) и supervoxels, выбраны с этой аннотации, показано зеленым цветом (справа). Е. окончательный сегментации, показывая тромбоцитов, сегментированные от фона с помощью модели обучения (см. таблицу 1 для подробной информации) и различные органеллы и микротрубочек, сегментированные, используя стратегии сегментации супер-региона. Цвета не указывают типы определенных органелл как они приведены здесь до классификации. Масштаб баров в A, B и E являются 1 мкм и в C и D 0,5 мкм. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 5. Анализ cryoSXT набора данных с помощью разделителя надпись.
A. один 2D срез необработанных данных. B. район интереса (красная рамка в A) с общей вариации фильтр, примененный для акцентирования органеллы. C. заключительный сегментация с накладными supervoxels. D. Визуализации часть разделителя метки с органеллы, классифицированных с использованием правил, отображаемых в F. Е. часть участка разделителя метки отображается средняя интенсивность внутри каждого объекта с правил, отображаемых в F применяется. Каждая вертикальная линия вдоль оси x представляет собой единый объект и цветом для соответствия класса, которую он был назначен. F. пример правил классификации для разделения различных объектов на основе присущих им свойств. Масштаб гистограммы являются 1 мкм. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Имя / набора данных	Источник	P1	P2	P3	P4
Фильтр Гаусса		Сигма
Диапазон / по умолчанию	-	[0.5, 10] / 1
CryoET (G1)	Необработанные данные	1
CryoET (G2)	Необработанные данные	2
Общее отклонение		Лямбда	Интервал	# ИТЭР	Зажим
Диапазон / по умолчанию	-	[0.1, 30] / 10	[0.1, 10] / 1	[50, 500] / 100	-
MicroCT (TV1)	Необработанные данные	10	1	100	(1-)
CryoET (TV2)	G1	7	1	200	-
CryoET (ТВ3)	G2	10	1	100	-
CryoSXR (TV4)	Необработанные данные	7	1	100	-
Порог		VMIN	Vmax
Диапазон / по умолчанию

CryoET (TH1) ТВ3 0 - Гаусса центрирования Сигма Диапазон / по умолчанию - [0.5, 10] / 2 MicroCT (GC1) TV1 2 Гаусса нормализации Сигма Диапазон / по умолчанию - [0.5, 10] / 2 MicroCT (GN1) TV1 2 Лапласа Гаусса Сигма Молотить Ответ Диапазон / по умолчанию - [0.5, 10] / 2 [Да/нет] / нет [Светлый/темный] / яркий MicroCT (LG1) TV1 2 Нет Яркий Разница по Гауссу Сигма Init Сигма коэффициент Диапазон / по умолчанию - [0.5, 10] / 2 [1.1, 3] / 1.6 MicroCT (DG1) TV1 2 1.6 CryoET (DG2) ТВ3 2 1.6 Det. структуры тензора Σ1 Сигма район Диапазон / по умолчанию - [0.5, 10] / 2 [0.5, 10] / 2 CryoET (ST1) ТВ3 2 2 Supervoxels Форма Интервал Компактность Диапазон / по умолчанию - [1, 10] / 10 [0.1, 5] / 1 [1, 200] / 20 MicroCT (SV1) TV1 (10, 10, 10) (1, 1, 1) 30 CryoET (SV2) ТВ3 (10, 10, 10) (1, 1, 1) 50 CryoET (SV3) TV2 (3, 5, 5) (1, 1, 1) 50 CryoSXT (SV4) TV4 (10, 10, 10) (1, 1, 1) 30 Megavoxels Лямбда # Бункеров Гамма Диапазон / по умолчанию - [0.01, 1] 0,1 [10, 200] / 20 Нет, авто или [0, 1] / нет CryoET (MV1) SV2 0.1 50 Авто TV1 CryoSXT (MV2) SV4 0.4 50 Нет TV4 Обучение модели Регион Классификатор Уточнение Доступно / по умолчанию [voxel / supervoxel] [Ансамбли, SVM, онлайн линейной модели] / [Нет, Поттс, появление] / внешний вид Ансамбль - RF microCT ТВ3 SV1 Случайные лес: Внешний вид TH1 GC1 -Дерево #: -Лямбда: GN1 [10, 100] / 100 [1, 500] / 10 LG1 100 50 DG1 cryoET TV2 DG2 ST1 SV2 Случайные лес: Внешний вид -Дерево #: -Лямбда: [10, 100] / 100 [1, 500] / 10 100 50 Аннотации уточнение Радиус Диапазон / по умолчанию [1, 20] / 1 microCT Открытие 5 Заливка отверстия 1 Дилатация 2 cryoET Открытие 3 Заливка отверстия 1 Дилатация 2 cryoSXT Открытие 3 Заливка отверстия 1 Дилатация 2

Таблица 1. Оптимизированные параметры, используемые для обработки каждого из трех наборов данных (microCT, cryoET и cryoSXT).>
Для каждого параметра даны диапазон общего назначения и по умолчанию. Во многих случаях отфильтрованных данных используется в качестве источника для последующей обработки. В этих случаях аббревиатура используется для обозначения нового исходного набора данных. Например, G1 (Gaussian отфильтрованные cryoET необработанных данных) был использован как входные данные во время общей вариации фильтр для создания TV2. Информация представлена только для аспекты Workbench, которые были использованы для обработки каждого набора данных. К примеру обучение модели не использовался при обработке набора данных cryoSXT, представленные здесь, поэтому никакие параметры даны для этого.

Discussion

SuRVoS Workbench отличается от других программ сегментации, что оптимизация параметров является необходимым и важным шагом до начала фактической сегментации. В некоторых программах ручной или полу ручная сегментация пользователь начинает сегментации в моменты открытия нового проекта. С SuRVoS потому что большое количество тома будет сегментированные с очень мало пользовательского ввода и границы определены программой, оптимизации параметров имеет решающее значение для успешного сегментации. В частности функция каналы и супер-регион строительства, две области, где следует уделять внимание.

Особенность каналы и обучение модели

Помимо исходных данных SuRVoS позволяет пользователю создать дополнительные наборы данных или каналы, производными от существующего набора данных. Эти каналы могут быть созданы с помощью вычислительной методологии или функция экстракторы. Каждое из представлений данных доступны параллельно и могут быть отображены индивидуально для оценки результатов применения функции или фильтр. Из-за этих характеристик они называются функция каналов в SuRVoS. Есть много вариантов канала функция, в рамках SuRVoS. Для получения информации о вариантах и параметры, используемые здесь, см. таблицу 1, полный список и описание доступных каналов посетить https://diamondlightsource.github.io/SuRVoS/ ². Во-первых, шумные наборы выиграют от шумоподавления с нормальным или общей вариации фильтр. Это рекомендуется, далее канал и supervoxel/megavoxel вычисления функции выполняться, используя один из этих denoised наборов данных в качестве источника данных. Как правило общей вариации незашумленным набора данных используется в качестве источника данных для вычисления функцию канала и supervoxel/megavoxel. Рекомендуется сначала запустить значениями по умолчанию, оценить результат в 3D и наконец, многократно оптимизировать параметры для набора данных. Кроме того функция, которую каналов может быть построен в «наборы фильтров» для специально изолировать аспекты набора данных и эти могут затем использоваться в качестве источников данных для создания supervoxels и megavoxels. Хотя эта стратегия является весьма зависимых наборов данных, это может быть полезно.

Особенность каналы также используются как источники для обучения классификатора в обучении модели. При принятии решения, на которых функция каналы для использования, рекомендуется, что несколько каналов надежные функции (например, от больших двоичных объектов обнаружения, текстуры и структура или надежные функции категории) используются при работе с небольшим количеством аннотаций для обучения классификатор. При работе с большим количеством обучающих данных, рекомендуется использовать более функция каналы общей, от любой из категорий, до тех пор, как они обеспечивают разнообразной информации в классификатор (например, добавить выше список функция каналы от местных особенности и функции Гаусса категорий).

Существует три основных частей модели обучения: обеспечение источников входных данных, которые описывают данные, используя эти материалы для обучения классификатора и наконец уточнения прогнозов выходной. Как правило небольших областей данных потребует больше пользователей аннотации обучить точно классификатора, в то время как крупных областей данных потребует меньше пользовательских заметок. Обучение модели сначала без выбора уточнение может использоваться найти лучшие прогнозы. Затем включают уточнение и оптимизации параметра лямбда, необходимые для исправления проблем с предсказаниями, например отверстия или неровными краями.

Supervoxels и megavoxels

Supervoxels являются кластеры множественных поблизости, аналогичные вокселей^38,39. Supervoxels начинают как стандарт 3D сетки обложил на данных, которые затем итеративно деформируется для того, чтобы придерживаться основных границ и таким образом лучше представляют данные. Supervoxel создание и деформации контролируется четырьмя вводимых пользователем: источник данных, форма superpixel, интервал и компактность. Источник данных предоставляет вводные данные, которые запрашиваются во время создания supervoxel. Может использоваться любой источник, включая источники отфильтрованных данных. Superpixel форму параметры определяют начало 3D сетки и приблизительное желаемую форму результирующей supervoxels. Изменение этих параметров может увеличить или уменьшить размер supervoxels до деформации. Параметры интервала определяют важность границ в каждом направлении. Изменение этих параметров может подчеркнуть границы в одном или двух направлениях за счет другого (s), означает результате supervoxels будет деформировать лучше следовать данных границ данного направления. Последний параметр, компактность, контролирует, сколько supervoxels могут деформироваться. Номер, низкая плотность позволяет supervoxels деформировать больше. Эти параметры должны быть оптимизированы для обеспечения supervoxels, которые представляют границы данных интерес. Примечание: В настоящее время, supervoxel форму параметров должен быть равен 1024 или меньше при умножении вместе.

В некотором смысле, supervoxel параметры могут компенсировать друг друга, есть смысл никто «правильный ответ» при определении параметров. Например, большое начало сетки (например , superpixel форма: 10 x 10 x 10) и ряд низкий компактность (Исх. 20) может дать supervoxels с аналогичными границы присоединение по сравнению с небольшой начало сетки (например , superpixel форма 5 x 5 x 5) и выше компактность номер (например 50). Потому что есть больше, меньше supervoxels во втором сценарии, они не должны деформировать столько же представляют границы. Оба набора параметров может быть подходящим для сегментации набора данных.

Крупнейших рассмотрение при выборе параметров supervoxel является, насколько хорошо supervoxels представляют данные. Отображение supervoxels самостоятельно, без данных под ними, как и 2D фигура, является хорошим способом для оценки параметров supervoxel. Когда отображается таким образом, края и контуры фигур, обнаруженных в данных должно по-прежнему видны в supervoxels.

Megavoxels являются конгломератами несколько соседних, аналогичные supervoxels^38,39. Снова они управляются четырьмя вводимых пользователем: источник данных, лямбда, numbins и гамма. Как и в случае с supervoxels, источник данных предоставляет вводные данные, которые запрашиваются во время создания megavoxel. Лямбда и numbins влияние размер и границы присоединения megavoxels. Как megavoxels расти больше (высокая лямбда, низкий numbins), их граница присоединения уменьшается. Обратное также верно, присоединение граница увеличится с небольших megavoxels (низкая лямбда, высокой numbins), однако как megavoxel размер уменьшается, так что делает их полезность в сегментации больших объемов вокселей быстро. Параметр необязательный гамма управляет фактор сглаживания по сравнению стоимость слияния двух supervoxels вместе. Малые значения гамма может повысить сходство между двумя supervoxels, за счет имея меньше megavoxels целом.

Как и в случае с supervoxels, крупнейших рассмотрение при выборе и оптимизации параметров megavoxel является, насколько хорошо megavoxels представляют данные. Отображение только, как описано для supervoxels megavoxels, снова может использоваться для оценки параметров. Однако потому что megavoxels общем будет гораздо больше и трехмерные, используя t аннотации инструментыo выбрать один megavoxels для обеспечения граница между регионами туго также рекомендуется.

Стратегия Аннотация

Были описаны две общие аннотации стратегии: модель обучения подход полезен для разделения больших регионов набора данных, в то время как супер-регион сегментации подход полезен для меньших, более разнообразных функций, таких как отдельные органеллы. Аннотации могут быть организованы в иерархическую, так что это можно аннотировать крупных регионов сначала, а затем разделить их на более конкретных регионов, используя отношения родитель ребенок. Родительский метки для метки могут быть назначены, нажав на площади справа от выбранного цвета этикетки и выбрав соответствующий родительский метки с предыдущего уровня. На практике большинство наборов данных использовать стратегии сегментации супер-региона, так и для обучения модели для сегмента регионов/особенностей, представляющих интерес.

В модели подготовки пример здесь несколько учебных материалов (в виде руководство пользователя на основе supervoxel аннотации) были использованы на трех равноудаленных фрагментов данных. Таким образом аспект обучения модели SuRVoS значительно увеличивает скорость, с которой сегментации возможна, особенно при работе с большими, дифференцированные регионов, таких как разрыв между регионами в goosegrass плодовые тела, как подчеркивается в Рисунок 3.

Когда модель обучение, если прогнозы не может рассматриваться, он может быть необходимо перейти на вкладку визуализация и убедитесь, что слой предсказания включен и присвоено соответствующее количество прозрачности. Кроме того доверие 0 будет назначить каждый неподписанных supervoxel метку, основанные на любой ближайший матч. Доверия 100 только назначить метку, если только одна категория ярлык любой пропорциональной матч. Все, что между ними-это компромисс этих двух крайностей. При выборе уровня доверия, который он предложил, чтобы проверить несколько фрагментов для визуально проверьте, что есть не неверно предсказал вокселей перед сохранением предсказание к метке.

Хорошая стратегия для аннотирования с помощью супер-регионов заключается в использовании инструмент «Масштаб» для увеличения данных, аннотировать несколько органеллы сразу в один срез, сначала с использованием подхода «быстро, грязный» (рис. 4 c). Далее переместить вверх или вниз несколько ломтиков в Z и повторить этот процесс. Потому что supervoxels трехмерных, многие из недостатков «грязный» подход фиксируются аннотации, сформулированные выше или ниже фрагменты. Таким образом ускорить сегментации и границы предоставляются в supervoxels, а не вручную.

Чтобы очистить метку, были предоставлены параметры уточнения стандартных сегментации. Дилатация вызывает метку выбранного сегментации расти по заданному радиусу, эрозии вызывает его сокращаться. Открытие и закрытие являются применение первого эрозии и затем дилатация или наоборот, соответственно. И заполнения отверстий делает именно это. Порядок этих операций имеет значение. Как правило выполнение заполнения отверстия, а затем открытия, а затем дилатация работает хорошо. Каждый метод уточнения может применяться на один срез («этот фрагмент»), на все фрагменты в 2D («все срезы (2D)») или в формате 3D («весь объем (3D)»). Рекомендуется все срезы (2D).

Значение и будущие направления деятельности

Эффективная и точная сегментация является следующий узким местом при обработке 3D наборов данных, особенно с обычной автоматизированного сбора терабайт данных изображения во время сессий в долгосрочной перспективе. SuRVoS Workbench может ускорить процесс сегментации по 5 раз по сравнению с ручной сегментации. Кроме того поскольку границы определены в supervoxels, изменчивость результата segmentations следует улучшить. В будущем мы надеемся изучить пути использования сегментации представитель 3D региона интерес как обучающих данных для применения к остальной части, или даже отдельного тома, с высокой степенью уверенности. Далее этот аванс уменьшит количество времени пользователя и ввод необходимых для сегмента даже сложные биологические томов, помогая облегчить узкое место обработки и сегментация изображения. Это, в свою очередь, позволит количественное сравнение биологических данных в различных государствах (например не болезнь, болезнь, лечение) с надежные экспериментальные числами.

Materials

Name	Company	Catalog Number	Comments
computer	n/a	n/a	Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory